Skip to content

chore: 정답·해설 API 비용 측정 스크립트 추가 - #43

Open
hyesngy wants to merge 1 commit into
developfrom
chore/cost-measurement-scripts
Open

hyesngy wants to merge 1 commit into
developfrom
chore/cost-measurement-scripts

Conversation

@hyesngy

@hyesngy hyesngy commented Nov 16, 2026

Copy link
Copy Markdown
Contributor

관련 이슈

없음

변경사항

  • 실제 Gemini 응답의 토큰 사용량으로 정답·해설 1세트의 비용을 계산하는 scripts/measure-api-cost.mjs를 추가합니다. 앱의 Prompts.swift와 프록시의 생성 설정·응답 검증을 그대로 재사용합니다.
  • 합성 문제 12개를 이미지로 만드는 scripts/cost-fixtures.swift와 문제 정의 scripts/fixtures/cost-problems.json을 추가합니다.
  • 실행 방법과 집계 규칙을 scripts/cost-measurement/README.md에 적었습니다.
  • .gitignore에 측정 결과 원자료(scripts/cost-measurement/results/), _workspace/, .agents/를 추가합니다. 원자료는 커밋하지 않습니다.

변경·영향 범위

담당 주 영역:

  • 앱 기능 (Capture / AI / Storage / UI)
  • StoreKit·사용량 정책
  • API·프록시
  • 앱 설정·권한·릴리스
  • 테스트·CI·개발 도구
  • 규칙·문서 (AGENTS.md, docs/)
  • 기타:

PR 분류

  • 일반 변경
  • Critical Path 변경

사전 예측

  • 예상 소요·기대 효과: 2026-11-06 비용 측정에 쓴 도구를 저장소에 남겨 다음 측정에서 재사용합니다.
  • 예상 병목·리스크: 앱·프록시 코드를 읽어 쓰므로 해당 선언의 이름이 바뀌면 스크립트가 실패합니다.
  • 담당 영역 밖 확인 사항: 없음

실제 결과·트러블슈팅

  • 실제 소요·반영 결과: 앱과 프록시 코드는 바꾸지 않았습니다. 스크립트와 .gitignore만 추가했습니다.
  • 실제 병목·해결 과정: 없음
  • 배운 점·후속 작업: 없음

검증 결과

  • 검증 내용: swift scripts/cost-fixtures.swift로 이미지 12개 생성을 확인했고, node scripts/measure-api-cost.mjs --dry-run이 표본 13개를 모두 "준비 확인"으로 통과했습니다. 실제 API 호출은 이번에 다시 실행하지 않았습니다. 앱 빌드·테스트는 앱 코드 변경이 없어 실행하지 않았습니다.
  • API Contract 앱·프록시 양쪽 반영 여부: 해당 없음
  • 시크릿 포함 여부: 없음. API 키는 환경 변수나 로컬 앱 설정에서 읽고 결과 파일에 기록하지 않습니다.

- 실제 Gemini 응답의 토큰 사용량으로 세트당 비용을 계산하는 measure-api-cost.mjs 추가
- 합성 문제 12개를 이미지로 만드는 cost-fixtures.swift와 문제 정의 추가
- 측정 결과 원자료, _workspace/, .agents/를 gitignore에 추가
@github-actions

Copy link
Copy Markdown

AI 사전 코드 리뷰 (파일럿)

검토 SHA: f839734b5b69 · 방식: 전체
상태: 미해결 2 · 해결 0 · 오탐 0 · 위험 수용 0
AI 호출: 1/20

정답·해설 API 비용 측정을 위한 CLI 스크립트(measure-api-cost.mjs, cost-fixtures.swift) 및 테스트용 문제 데이터셋이 추가되었습니다. 측정 스크립트(measure-api-cost.mjs)에서 Gemini API의 토큰 사용량 스펙 오인으로 인한 스크립트 중단 버그와, 해설 응답(Markdown)을 JSON으로 파싱하려다 발생하는 측정 실패 버그가 발견되었습니다.

ID 심각도 확신·구분 위치 문제 상태
AX-0adf1d0c4470 high high · confirmed scripts/measure\-api\-cost\.mjs:50 usageMetadata.totalTokenCount 검증 조건 및 비용 계산식에 오류가 있어 추론 토큰(thoughtsTokenCount)이 포함된 응답 시 측정이 즉시 중단됩니 open
AX-f176a59a1225 high high · confirmed scripts/measure\-api\-cost\.mjs:173 kind가 'explanation'인 해설 응답에 대해 JSON.parse(text)를 실행하여 SyntaxError가 발생하고 모든 해설 측정 세트가 실패합니다. open

Finding 상세

  • AX-0adf1d0c4470: Gemini API의 totalTokenCount는 promptTokenCount + candidatesTokenCount입니다 (candidatesTokenCount 안에 tho 조치: Gemini API usageMetadata 스펙에 맞추어 totalTokenCount === prompt + candidates 로 검증식을 수정하고, candidates 토큰
  • AX-f176a59a1225: Gemini API의 해설(explanation) 응답은 JSON 구조체가 아닌 Markdown 텍스트입니다. generate 함수에서 kind 구분 없이 JSON.parse(te 조치: kind === 'answer'일 때만 JSON.parse(text)를 수행하여 정답 객체를 반환하고, kind === 'explanation'일 때는 텍스트 자체를 반환하도록 분

테스트 공백

  • measure-api-cost.mjs 스크립트의 usageCost 토큰 계산 로직 및 generate 응답 파싱/검증 흐름을 검증하는 단위 테스트가 없습니다.

검토 제외 파일: 1개. 전체 변경은 사람이 확인해 주세요.

사람의 판정: /ai-review false-positive AX-... 이유(10자 이상), /ai-review accepted-risk AX-... 이유(10자 이상), /ai-review reopen AX-...
AI 결과는 승인이나 머지 조건을 대체하지 않습니다.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant