Skip to content

[Fix/#76] 질문에 해당하는 항목만 답하도록 프롬프트 보강 - #77

Closed
seungbye wants to merge 1 commit into
mainfrom
fix/#76-prompt-answer-scope
Closed

seungbye wants to merge 1 commit into
mainfrom
fix/#76-prompt-answer-scope

Conversation

@seungbye

Copy link
Copy Markdown
Contributor

문제

시드 문서 중에는 항목이 여러 개 나열된 것이 있다. (예: places-guide.md의 시설 위치 목록)
이런 문서가 통째로 참고 문서에 들어오면, 모델이 목록 전체를 답으로 옮겨 적을 수 있다.

"과사 어디야"라는 질문에 교학팀 위치만 답해야 하는데 정수기와 강의실까지 따라 나온다.

말투 규칙에 "학생이 묻지 않은 정보는 꼭 필요할 때만 한 줄 덧붙입니다"가 이미 있지만,
이건 덧붙이기를 다루는 규칙이다. 문서를 그대로 전달하는 경우는 걸리지 않는다.

변경

prompts/system_v2.md 답변 규칙 1번에 한 줄 추가했다.

문서에 여러 항목이 나열되어 있으면 질문에 해당하는 항목만 골라 답합니다. 문서를 통째로 옮기지 않습니다.

측정

Gemini 채점 키가 없어 이번에는 골든셋 점수를 내지 못했다.
검색 지표만 확인했고 Recall@5 31/32 = 96.9%로 프롬프트 변경과 무관하게 정상이다.

키가 확보되면 아래로 전후 비교가 가능하다.

답변 규칙 1번에 한 줄 추가했다.

항목이 여러 개 나열된 시드 문서가 참고 문서로 들어오면, 모델이 목록
전체를 답으로 옮겨 적을 수 있다. "과사 어디야"에 교학팀 위치만 답해야
하는데 정수기와 강의실까지 따라 나온다.

말투 규칙의 "묻지 않은 정보는 꼭 필요할 때만 한 줄"은 덧붙이기를
다루는 규칙이라 이 경우에 걸리지 않는다.

Gemini 채점 키가 없어 골든셋 전후 비교는 아직 못 했다.
@coderabbitai

coderabbitai Bot commented Nov 11, 2026

Copy link
Copy Markdown

Important

  • Trigger review

This repository does not receive automatic reviews because it has fewer than 10 stars.

Run configuration

  • Source mode: Auto
  • Repository: Unavailable
  • Branch: Unavailable
  • File: No configuration file from this repository applied
  • Commit: Unavailable
  • Layers: defaults
  • Review profile: CHILL
  • Plan: Advanced
  • Run ID: afd8cf67-cbcf-4050-9a52-13a9b81ad47a
  • Autofix · Keep fixing CodeRabbit findings and required CI, and resolving merge conflicts

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

Share

@overhyeon

Copy link
Copy Markdown
Contributor

Gemini 채점으로 전후 점수 재 봤어요. (커밋 633eaa9 기준)

조건

1. 골든셋 전체 (75문항)

변경 전 #77 적용
전체 정답요지 44.4% (47.0 / 43.6 / 42.7) 44.2% (44.4 / 43.6 / 44.4)
문서형 74.6% 74.6%
함정 정답률 88% 90%
평균 답변 길이 177자 165자

회차마다 흔들리는 폭 안이라 의미 있는 차이는 없어요.

2. #77이 겨냥한 질문 6개 (각 3회)

골든셋에 시설 위치 질문이 없어서 따로 만들었어요: 과사 어디야 / 자주스 어디 있어 / 정수기 어디 있어 / 무상실 몇 호야 / 과방 어디야 / 행정실 몇 시까지 해.
답 본문에 묻지 않은 다른 시설(다른 호실·정수기)이 섞였는지 셌어요.

변경 전 #77 적용
정답요지 18/18 18/18
다른 시설이 안 섞인 답 18/18 18/18
평균 길이 79자 72자

예: "과사 어디야?" → 둘 다 "과사(교학팀)는 신관 6층 631호에 있어요." 한 줄.

정리

  • 변경 전 프롬프트에서도 목록을 통째로 옮기는 문제가 재현되지 않았어요. 점수가 떨어지지도 않았어요.
  • AGENTS.md "개선 폭이 유의미하지 않으면 도입하지 않는다" 기준으로는 지금 근거만으로는 넣을 이유가 약해요.
  • 승빈이 실제로 문제를 본 질문(표현)이 있으면 알려 줘요. 그 질문으로 다시 재서 재현되면 넣고, 안 되면 닫는 게 좋을 것 같아요.

@seungbye

Copy link
Copy Markdown
Contributor Author

Gemini 채점 전후 비교에서 점수 차이가 없었고(골든셋 44.4% → 44.2%, 회차별 흔들림 범위 안), 겨냥한 시설 위치 질문에서도 문제가 재현되지 않아 닫아요. AGENTS.md 원칙(개선 폭이 유의미하지 않으면 도입하지 않는다)에 따른 결정이에요. 목록이 통째로 나오는 질문을 다시 발견하면 그 표현으로 재 보고 새로 올릴게요.

@seungbye seungbye closed this Nov 17, 2026
@seungbye
seungbye deleted the fix/#76-prompt-answer-scope branch November 17, 2026 11:56
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants