Repository navigation
Conversation
답변 규칙 1번에 한 줄 추가했다. 항목이 여러 개 나열된 시드 문서가 참고 문서로 들어오면, 모델이 목록 전체를 답으로 옮겨 적을 수 있다. "과사 어디야"에 교학팀 위치만 답해야 하는데 정수기와 강의실까지 따라 나온다. 말투 규칙의 "묻지 않은 정보는 꼭 필요할 때만 한 줄"은 덧붙이기를 다루는 규칙이라 이 경우에 걸리지 않는다. Gemini 채점 키가 없어 골든셋 전후 비교는 아직 못 했다.
|
Important
This repository does not receive automatic reviews because it has fewer than 10 stars.
|
Contributor
|
Gemini 채점으로 전후 점수 재 봤어요. (커밋 조건
1. 골든셋 전체 (75문항)
회차마다 흔들리는 폭 안이라 의미 있는 차이는 없어요. 2. #77이 겨냥한 질문 6개 (각 3회) 골든셋에 시설 위치 질문이 없어서 따로 만들었어요: 과사 어디야 / 자주스 어디 있어 / 정수기 어디 있어 / 무상실 몇 호야 / 과방 어디야 / 행정실 몇 시까지 해.
예: "과사 어디야?" → 둘 다 "과사(교학팀)는 신관 6층 631호에 있어요." 한 줄. 정리
|
Contributor
Author
|
Gemini 채점 전후 비교에서 점수 차이가 없었고(골든셋 44.4% → 44.2%, 회차별 흔들림 범위 안), 겨냥한 시설 위치 질문에서도 문제가 재현되지 않아 닫아요. AGENTS.md 원칙(개선 폭이 유의미하지 않으면 도입하지 않는다)에 따른 결정이에요. 목록이 통째로 나오는 질문을 다시 발견하면 그 표현으로 재 보고 새로 올릴게요. |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
문제
시드 문서 중에는 항목이 여러 개 나열된 것이 있다. (예: places-guide.md의 시설 위치 목록)
이런 문서가 통째로 참고 문서에 들어오면, 모델이 목록 전체를 답으로 옮겨 적을 수 있다.
"과사 어디야"라는 질문에 교학팀 위치만 답해야 하는데 정수기와 강의실까지 따라 나온다.
말투 규칙에 "학생이 묻지 않은 정보는 꼭 필요할 때만 한 줄 덧붙입니다"가 이미 있지만,
이건 덧붙이기를 다루는 규칙이다. 문서를 그대로 전달하는 경우는 걸리지 않는다.
변경
prompts/system_v2.md 답변 규칙 1번에 한 줄 추가했다.
측정
Gemini 채점 키가 없어 이번에는 골든셋 점수를 내지 못했다.
검색 지표만 확인했고 Recall@5 31/32 = 96.9%로 프롬프트 변경과 무관하게 정상이다.
키가 확보되면 아래로 전후 비교가 가능하다.