Repository navigation
feat: 참가자용 문제 파일 수집 및 다운로드 지원 - #80
Conversation
| headers["Authorization"] = "Bearer " + token | ||
| request = Request(base + path, headers=headers) | ||
| # 위에서 scheme을 http와 https로 제한한 운영 설정만 사용한다 | ||
| with urlopen(request, timeout=timeout) as response: # nosec B310 |
| ) | ||
| try: | ||
| # 로컬 백엔드 주소로만 전달하는 개발용 프록시다 | ||
| with urlopen(request, timeout=10) as response: # nosec B310 |
|
DevSecOps PR #9( 기존 PR #26에 요청드린 전체 pagination도 운영 주기 실행 전 호출량 한 가지 확인 부탁드립니다. 현재 문제 저장소에는 Actions artifact가 1,131개 있습니다. 첫 로컬 통합 테스트는 1회 실행이므로 진행 가능하지만, 운영 주기 실행 전에는 다음 중 하나가 필요해 보입니다.
최소 검증 기준은 두 번째 |
|
문제 저장소 PR #52가 병합되어 현재 요청사항:
수정 반영 후 정적/동적 × 참가자 파일 있음/없음 네 가지 실제 Actions artifact를 발행해 PR #80 브랜치 Poller와 다운로드까지 통합 검증하겠습니다. 관련 문제 저장소 병합 PR: https://github.com/MSG-CTF/2026_MSG_CTF/pull/52 |
… feature/challenge-user-files
|
PR #52 병합 후 실제 user-files artifact 4종 발행과 로컬 무결성 확인을 완료했습니다. 모두
PR #80 최신 커밋 |
| ] | ||
|
|
||
| operations = [ | ||
| migrations.CreateModel( |
There was a problem hiding this comment.
#26의 0006에서도 같은 테이블을 생성하고 있어 합치면 마이그레이션이 충돌합니다
merge migration만 추가하면 중복 생성이 남으니, PollerArtifact 생성 경로를 하나로 정리 부탁드립니다
jongcoding
left a comment
There was a problem hiding this comment.
새 DB 설치와 #26 적용 DB 업그레이드가 모두 통과했고, 기존 PollerArtifact 데이터도 유지됐습니다
관련 테스트 39개도 통과했습니다
|
DevSecOps에서 대기 중 가능한 로컬 소비 검증을 진행했습니다. 결과와 전체 문제별 run/revision/artifact/digest 목록: Backend #80
revision 330 활성 상태에서 455 등록 시 active 유지, 관리자 API 전환, 시험은 메모리 SQLite·임시 파일 저장소 기준입니다. GitHub HTTP 계층만 실제 다음 확인 부탁드립니다.
#26/#80을 임의로 병합하거나 GCS 인증을 대신 구성하지 않았습니다. |
jongcoding
left a comment
There was a problem hiding this comment.
활성 버전 파일 유지, 파일 없는 버전 전환, 롤백, 다운로드 권한과 캐시 금지까지 확인했습니다
파일 검사 42개와 최신 #26을 합친 PostgreSQL 검사 394개 통과했슴다
최신 #26 반영하고 CI 다시 통과하면 머지해도 될듯합니다
현재 PR에는 최신 커밋의 CI 결과가 없어서 이 부분만 확인 부탁드려요
jongcoding
left a comment
There was a problem hiding this comment.
최신 #26 반영 확인했고, PostgreSQL에서 관련 테스트 400개 통과했습니다
다만 이 PR은 feature/challenge-releases로 들어가는데 CI는 main 대상 PR만 실행하도록 되어 있어 최신 커밋의 검사 결과가 없습니다
해당 브랜치도 CI 대상에 넣어서 확인 부탁드립니다
GCS 설정 테스트는 통과했고, 실제 버킷 업로드·다운로드는 아직 검증하지 못했습니다
실제 HTTP Poller 연동 테스트 대상 전달최신 #26 반영 및 로컬 테스트 400개 통과한 것 확인했습니다. GitHub 인증 승인 후 바로 사용할 실제 Actions 산출물을 정리합니다. 2026-10-14 기준 아래 5개 실행은 모두 테스트 대상 4종
위 4개 실행의 source SHA는 모두 정확한 artifact 이름과 ID:
기존 active 유지 비교용 이전 릴리스
분리된 테스트 DB에서 330을 등록·활성화한 뒤 455를 수집해 active가 자동 변경되지 않는지 확인할 수 있습니다. Poller가 330과 455를 첫 실행에서 함께 수집했다면 수집 자체로 이 순서가 검증됐다고 계산하지 않고, 테스트 상태와 수집 순서를 통제해 확인 부탁드립니다. 이미 더 높은 revision이 등록된 공유 DB의 active를 이번 시험 때문에 낮추지는 말아주세요. 실제 수집 확인 요청
이번 4종은 최초 수집과 기본 유무 구분용입니다. 같은 문제의 파일 변경, 파일 있음 → present:false 전환, 롤백, 통신 실패 재시도는 별도 시나리오이며 이 목록만으로 완료 처리하지 않습니다. 저장 담당은 합의대로 Backend입니다. 우선 로컬 MEDIA_ROOT에서 HTTP 수집을 검증할 수 있고, GCS 인증·storage 준비 후 같은 대상의 실제 저장·다운로드를 확인하면 됩니다. CI 직접 GCS 업로드는 비활성으로 유지합니다. 토큰은 Backend 실행 환경의 위 문서의 backend_sha는 10월 7일 로컬 검수 버전입니다. 이번 실제 HTTP 시험에는 최신 #80 테스트 커밋을 사용하고 그 SHA를 결과에 별도로 기록 부탁드립니다. 당시 로컬 검수는 GitHub HTTP 계층을 다운로드 파일로 대체했으므로 실제 HTTP 인증·GCS·개발 DB·Scheduler·Runtime 검증으로 계산하지 않습니다. 관련 릴리스 연동 PR: #26 |
jongcoding
left a comment
There was a problem hiding this comment.
실제 GitHub 발행본 4종으로 파일 수집·다운로드·배포 버전 전환까지 확인했습니다
기존 버전 유지, 재수집 시 중복 다운로드 방지, 권한 없는 다운로드 차단도 확인했습니다
GCS 오류 처리 한 곳만 보완 부탁드립니다
아래 세 오류는 SDK 예외를 넣어 재현했고, 실제 GCS 버킷 업로드·다운로드는 아직 확인하지 못했습니다
|
|
||
| try: | ||
| status, detail = register_user_files_bundle(manifest, archive_bytes, artifact) | ||
| except OSError as error: |
There was a problem hiding this comment.
[P2] GCS 오류가 나면 수집기가 종료됩니다
여기서는 OSError만 잡는데 GCS의 503, 권한 오류, 인증 갱신 오류는 각각 ServiceUnavailable, Forbidden, RefreshError로 올라옵니다
세 경우 모두 다음 파일을 처리하지 못하고 종료되는 것을 재현했습니다
GCS 예외도 처리해서 나머지 파일은 계속 수집하고, 실패한 파일은 미처리 상태로 남겨 다음 주기에 재시도하도록 수정 부탁드립니다
작업 내용
*-user-files-bundleActions artifact 자동 수집 지원poll_releases실행 시 릴리스 bundle과 참가자 파일 bundle을 함께 수집user-files.jsonmanifest 검증schema_versionchallenge_slugregistry_revisionsource_refsource_shapresentsource_sha일치 검증challenge_slug로 Backend 문제 연결challenge_slug + registry_revision으로 릴리스 연결default_storage에 저장present: false인 최신 revision은 참가자 화면에서 파일을 숨김files에 참가자 파일 정보 포함API
참가자 파일 다운로드:
GET/api/v1/challenges/{challenge_id}/files/{file_id}/downloadTeamChallengeAccess필요문제 상세 조회의
files응답 예시:{ "files": [ { "file_id": "018f3f1e-21b8-7a91-a30b-63b3400fd001", "file_name": "user-files.zip", "download_url": "/api/v1/challenges/{challenge_id}/files/{file_id}/download", "file_size": 12345 } ] }파일이 없거나 현재 revision의 manifest가
present: false이면files: []를 반환합니다.저장 구조
DB에는 다음 정보를 저장합니다.
registry_revisionsource_refsource_shapresentZIP 바이너리는 DB에 저장하지 않습니다.
테스트
python manage.py checkpython manage.py makemigrations --check --dry-runpython manage.py test apps.instances.tests_poller apps.instances.tests_user_files apps.challengepython manage.py test apps.instances apps.adminpanel apps.challenge변경 범위 테스트 209건을 통과했습니다.
참고
ChallengeRelease구조를 기준으로 작성했습니다.MEDIA_ROOT와default_storage를 사용합니다.STORAGES설정 및 관련 의존성을 후속 반영할 예정입니다.