Skip to content

feat: 참가자용 문제 파일 수집 및 다운로드 지원 - #80

Merged
jongcoding merged 11 commits into
feature/challenge-releasesfrom
feature/challenge-user-files
Oct 16, 2026
Merged

jongcoding merged 11 commits into
feature/challenge-releasesfrom
feature/challenge-user-files

Conversation

@gimgyumin0207

Copy link
Copy Markdown
Collaborator

작업 내용

  • DevSecOps의 *-user-files-bundle Actions artifact 자동 수집 지원
  • 기존 poll_releases 실행 시 릴리스 bundle과 참가자 파일 bundle을 함께 수집
  • user-files.json manifest 검증
    • schema_version
    • challenge_slug
    • registry_revision
    • source_ref
    • source_sha
    • present
    • SHA-256, 크기, 파일 수
  • 성공한 workflow run만 허용
  • workflow head SHA와 manifest의 source_sha 일치 검증
  • challenge_slug로 Backend 문제 연결
  • challenge_slug + registry_revision으로 릴리스 연결
  • 동일 revision과 artifact 재수집 시 중복 저장 방지
  • ZIP 파일은 Django default_storage에 저장
  • DB에는 ZIP 본문이 아닌 object key와 메타데이터만 저장
  • ZIP 경로 탈출, 중복 경로, 심볼릭 링크 및 특수 파일 차단
  • 파일 수 최대 1,000개, 압축 해제 크기 최대 100MiB 제한
  • SHA-256, 압축 파일 크기, 파일 수, 압축 해제 크기 일치 검증
  • 정적 문제와 동적 문제 모두 참가자 파일 지원
  • present: false인 최신 revision은 참가자 화면에서 파일을 숨김
  • 과거 DB 기록과 저장 객체는 롤백을 위해 유지
  • 동적 문제는 현재 active release의 revision 파일만 노출
  • 정적 문제는 최신 revision 파일 노출
  • 문제 상세 조회 응답의 files에 참가자 파일 정보 포함
  • 문제를 개방한 팀만 참가자 파일을 다운로드할 수 있도록 권한 검증
  • 과거 revision 파일 ID를 직접 요청해도 다운로드되지 않도록 차단
  • 참가자 파일 메타데이터 모델과 migration 추가

API

참가자 파일 다운로드:

  • Method: GET
  • URL: /api/v1/challenges/{challenge_id}/files/{file_id}/download
  • 권한: 로그인 및 해당 문제의 TeamChallengeAccess 필요

문제 상세 조회의 files 응답 예시:

{
  "files": [
    {
      "file_id": "018f3f1e-21b8-7a91-a30b-63b3400fd001",
      "file_name": "user-files.zip",
      "download_url": "/api/v1/challenges/{challenge_id}/files/{file_id}/download",
      "file_size": 12345
    }
  ]
}

파일이 없거나 현재 revision의 manifest가 present: false이면 files: []를 반환합니다.

저장 구조

DB에는 다음 정보를 저장합니다.

  • 문제 및 릴리스
  • GitHub Actions artifact ID와 이름
  • registry_revision
  • source_ref
  • source_sha
  • present
  • object key
  • SHA-256
  • 압축 파일 크기
  • 파일 수
  • 압축 해제 크기

ZIP 바이너리는 DB에 저장하지 않습니다.

테스트

  • python manage.py check
  • python manage.py makemigrations --check --dry-run
  • python manage.py test apps.instances.tests_poller apps.instances.tests_user_files apps.challenge
  • python manage.py test apps.instances apps.adminpanel apps.challenge

변경 범위 테스트 209건을 통과했습니다.

참고

  • 이 PR은 PR #26의 ChallengeRelease 구조를 기준으로 작성했습니다.
  • 현재 개발 환경에서는 Django MEDIA_ROOT와 default_storage를 사용합니다.
  • 운영 저장소는 GCS를 예상하고 있으며, bucket과 인증 정보가 확정되면 STORAGES 설정 및 관련 의존성을 후속 반영할 예정입니다.
  • 운영 배포 전에는 로컬 파일시스템 대신 영구 GCS bucket 설정이 필요합니다.
  • 참가자 다운로드는 공개 GCS URL이 아니라 Backend API를 통해 제공합니다.
  • 관리자 수동 동기화 버튼은 포함하지 않았으며 기존 Poller의 주기 실행 방식으로 자동 동기화합니다.

Comment thread apps/instances/poller.py
headers["Authorization"] = "Bearer " + token
request = Request(base + path, headers=headers)
# 위에서 scheme을 http와 https로 제한한 운영 설정만 사용한다
with urlopen(request, timeout=timeout) as response: # nosec B310
)
try:
# 로컬 백엔드 주소로만 전달하는 개발용 프록시다
with urlopen(request, timeout=10) as response: # nosec B310
@gimgyumin0207
gimgyumin0207 changed the base branch from main to feature/challenge-releases September 20, 2026 06:37
@wlsdnd2367

Copy link
Copy Markdown

DevSecOps PR #9(1ebd156)의 실제 manifest/ZIP 계약과 Backend PR #80(a266c028) 검증 로직을 대조했으며 필드, artifact 이름, checksum/크기/파일 수, present:false 처리가 일치합니다.

기존 PR #26에 요청드린 전체 pagination도 list_artifacts_by_suffix()에 반영된 것을 확인했습니다. 초기 backfill에는 필요한 변경입니다.

운영 주기 실행 전 호출량 한 가지 확인 부탁드립니다. 현재 문제 저장소에는 Actions artifact가 1,131개 있습니다. poll_releases --interval 60은 매 주기마다 전체 페이지를 다시 순회하고, 기존 publish/user-files bundle도 DB 중복 확인 전에 workflow run 조회와 ZIP 다운로드를 다시 수행합니다. 현재 publish bundle 25개만으로도 매분 목록 페이지 조회와 bundle별 추가 요청이 반복되고, user-files bundle이 전체 문제에 발행되면 호출량과 다운로드량이 더 증가합니다.

첫 로컬 통합 테스트는 1회 실행이므로 진행 가능하지만, 운영 주기 실행 전에는 다음 중 하나가 필요해 보입니다.

  • 마지막 처리 artifact ID/생성 시각을 저장해 초기 전체 backfill 후 새 artifact만 조회
  • 최신 페이지부터 순회하다 이미 처리한 경계에 도달하면 중단
  • artifact ID를 DB에서 먼저 확인해 workflow 조회와 ZIP 다운로드 전에 duplicate를 건너뜀

최소 검증 기준은 두 번째 poll_releases 실행에서 기존 artifact ZIP을 다시 다운로드하지 않고 duplicate 결과를 유지하는 것입니다.

@wlsdnd2367

Copy link
Copy Markdown

문제 저장소 PR #52가 병합되어 user-files-bundle 실제 발행 준비가 완료됐습니다. 통합 테스트 전에 Poller 처리 한 가지 수정이 필요합니다.

현재 validate_workflow_run_source()는 workflow가 completed/success가 아니면 ReleaseValidationError를 발생시키고, poll_user_files_once()의 해당 예외 처리에서 mark_artifact_processed()를 호출합니다. 이 때문에 artifact가 먼저 보이고 workflow가 아직 실행 중일 때 Poller가 읽으면 처리 완료로 고정되어, 이후 workflow 성공 시에도 다시 수집되지 않습니다.

요청사항:

  1. workflow status가 queued 또는 in_progress이면 artifact를 처리 완료로 기록하지 않고 다음 Poll에서 재시도
  2. completed이면서 success가 아닌 실행의 처리 정책은 별도로 명시
  3. 실행 중 1회 Poll → workflow 성공 → 다음 Poll에서 정상 등록되는 회귀 테스트 추가
  4. 기존 transient 오류 재시도와 immutable invalid artifact 완료 처리 동작 유지

수정 반영 후 정적/동적 × 참가자 파일 있음/없음 네 가지 실제 Actions artifact를 발행해 PR #80 브랜치 Poller와 다운로드까지 통합 검증하겠습니다.

관련 문제 저장소 병합 PR: https://github.com/MSG-CTF/2026_MSG_CTF/pull/52

@wlsdnd2367

Copy link
Copy Markdown

PR #52 병합 후 실제 user-files artifact 4종 발행과 로컬 무결성 확인을 완료했습니다. 모두 refs/heads/main, source SHA e225529e55b9250117e93af36b28f4e82265f1a7에서 생성됐습니다.

  1. 정적 + 파일 있음
  1. 정적 + 파일 없음
  1. 동적 + 파일 있음
  1. 동적 + 파일 없음

PR #80 최신 커밋 c9bda901에서 queued/in_progress 재시도 코드와 회귀 테스트가 추가된 것도 확인했습니다. 해당 브랜치에서 migration 후 Poller를 실행해 최초 수집, DB 보존, 동일 artifact 재수집 방지, present:false, 정적·동적 조회 및 다운로드 권한 결과를 공유 부탁드립니다.

@jongcoding jongcoding left a comment •

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

#26과 마이그레이션을 합쳐 실행하니 충돌로 migrate가 막혔습니다
PollerArtifact를 두 경로에서 생성하고 있어서, 병합 전에 최신 #26 기준으로 하나로 정리 부탁드립니다
새 DB 설치와 #26 적용 DB 업그레이드도 같이 확인해주시면 좋겠습니다

]

operations = [
migrations.CreateModel(

@jongcoding jongcoding Sep 30, 2026 •

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

#26의 0006에서도 같은 테이블을 생성하고 있어 합치면 마이그레이션이 충돌합니다
merge migration만 추가하면 중복 생성이 남으니, PollerArtifact 생성 경로를 하나로 정리 부탁드립니다

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

새 DB 설치와 #26 적용 DB 업그레이드가 모두 통과했고, 기존 PollerArtifact 데이터도 유지됐습니다
관련 테스트 39개도 통과했습니다

@wlsdnd2367

Copy link
Copy Markdown

DevSecOps에서 대기 중 가능한 로컬 소비 검증을 진행했습니다.

결과와 전체 문제별 run/revision/artifact/digest 목록:
MSG-CTF/msgctf-devsecops#17

고정 문서:
https://github.com/MSG-CTF/msgctf-devsecops/blob/e0d8d0c6fe9c4e511bdfa478693aafdd8756f4b6/docs/reports/2026-10-07-integration-readiness/README.md

Backend #80 8ed90393220154cd0983a49dd52abf87534d0c9b의 소스는 수정하지 않고
릴리스·Poller·참가자 파일 관련 원본 테스트 83개와 실제 artifact 4종 소비 시험을 통과했습니다.

  • 동적·파일 있음: pwn-random6 revision 455 / run 37345781390
  • 동적·파일 없음: misc-cashout revision 449 / run 37341655773
  • 정적·파일 있음: misc-hidden-order revision 469 / run 37354078451
  • 정적·파일 없음: forensic-is-this-job-legit revision 466 / run 37353062378

revision 330 활성 상태에서 455 등록 시 active 유지, 관리자 API 전환,
containers·resource_profile·digest·포트 DB 보존, 재수집 추가 다운로드 0,
ZIP checksum 일치와 접근 권한 없는 다운로드 403을 확인했습니다.

시험은 메모리 SQLite·임시 파일 저장소 기준입니다. GitHub HTTP 계층만 실제
다운로드 파일·메타데이터로 대체했으므로 실제 HTTP Poller·개발 DB·GCS 검증으로
계산하지 않습니다. 운영 DB나 Backend 코드는 변경하지 않았습니다.

다음 확인 부탁드립니다.

  1. 위 실제 artifact를 개발 환경의 HTTP Poller로 수집하고 DB·다운로드 결과 공유.
  2. 현재 #80은 동적 파일을 active revision 기준으로 표시합니다. 이전에 안내한
    '최신 present:false 우선' 대신 현재 코드 정책을 최종 기준으로 할지 확인.
  3. 파일 변경 새 revision, 기존 파일이 있는 문제의 present:false 전환과 통신 실패
    재시도는 실제 환경에서 추가 확인. 이번 네 종류 시험으로 완료 표시하지 않았습니다.
  4. 합의대로 Backend가 GCS에 저장합니다. Backend 실행 계정·default_storage 설정·
    bucket IAM·다운로드 방식이 준비되면 같은 네 종류로 GCS 검증을 이어가겠습니다.
    CI 직접 GCS 업로드는 비활성입니다.
  5. KOTH 6개의 별도 모델/release 연결 결정과 최신 active·rollback 보호 digest 목록
    (기준 시각, KOTH 포함 여부, 미확인 범위) 공유.

#26/#80을 임의로 병합하거나 GCS 인증을 대신 구성하지 않았습니다.

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

활성 버전 파일 유지, 파일 없는 버전 전환, 롤백, 다운로드 권한과 캐시 금지까지 확인했습니다
파일 검사 42개와 최신 #26을 합친 PostgreSQL 검사 394개 통과했슴다

최신 #26 반영하고 CI 다시 통과하면 머지해도 될듯합니다
현재 PR에는 최신 커밋의 CI 결과가 없어서 이 부분만 확인 부탁드려요

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

최신 #26 반영 확인했고, PostgreSQL에서 관련 테스트 400개 통과했습니다

다만 이 PR은 feature/challenge-releases로 들어가는데 CI는 main 대상 PR만 실행하도록 되어 있어 최신 커밋의 검사 결과가 없습니다
해당 브랜치도 CI 대상에 넣어서 확인 부탁드립니다

GCS 설정 테스트는 통과했고, 실제 버킷 업로드·다운로드는 아직 검증하지 못했습니다

@wlsdnd2367

Copy link
Copy Markdown

실제 HTTP Poller 연동 테스트 대상 전달

최신 #26 반영 및 로컬 테스트 400개 통과한 것 확인했습니다. GitHub 인증 승인 후 바로 사용할 실제 Actions 산출물을 정리합니다.

2026-10-14 기준 아래 5개 실행은 모두 main, completed/success이며, 아래에 지정한 artifact 7개는 현재 존재하고 만료되지 않았습니다. 이번에는 목록과 실행 메타데이터만 재확인했으며 재발행이나 실제 HTTP Poller 테스트는 하지 않았습니다.

테스트 대상 4종

구분 challenge_slug registry_revision run
동적 · 참가자 파일 있음 pwn-random6 455 37345781390
동적 · 참가자 파일 없음 misc-cashout 449 37341655773
정적 · 참가자 파일 있음 misc-hidden-order 469 37354078451
정적 · 참가자 파일 없음 forensic-is-this-job-legit 466 37353062378

위 4개 실행의 source SHA는 모두 1dea73b652f9eeb98204c1fda7f66b9afb89505d, source ref는 refs/heads/main입니다.

정확한 artifact 이름과 ID:

문제 종류 artifact ID artifact 이름
pwn-random6 릴리스 11360925900 pwn-random6-37345781390-1-097b7820c05041db8f8c9c8193a965e2-publish-bundle
pwn-random6 참가자 파일 11359944048 pwn-random6-37345781390-1-097b7820c05041db8f8c9c8193a965e2-user-files-bundle
misc-cashout 릴리스 11358877179 misc-cashout-37341655773-1-07d1e51f85d74e4481ddafdfbb55b74c-publish-bundle
misc-cashout 참가자 파일 11358034774 misc-cashout-37341655773-1-07d1e51f85d74e4481ddafdfbb55b74c-user-files-bundle
misc-hidden-order 참가자 파일 11364086714 misc-hidden-order-37354078451-1-d354e6f9e0d44abf9e5146eb046ba484-user-files-bundle
forensic-is-this-job-legit 참가자 파일 11363875661 forensic-is-this-job-legit-37353062378-1-e27736309b7844c28cb46be1eda58a59-user-files-bundle

publish-bundle에는 artifact-v2.json이, user-files-bundle에는 user-files.json이 포함됩니다. 참가자 파일이 있는 두 문제만 user-files.zip이 있습니다. 정적 두 문제에는 실행 컨테이너 릴리스용 publish bundle이 없으므로 참가자 파일 수집 경로로 테스트 부탁드립니다.

기존 active 유지 비교용 이전 릴리스

  • 문제: pwn-random6, registry_revision: 330
  • run: 36388354543
  • source SHA: e225529e55b9250117e93af36b28f4e82265f1a7
  • artifact ID: 10955805059
  • artifact: pwn-random6-36388354543-1-edd24b94528e48c8add09b3088c34837-publish-bundle

분리된 테스트 DB에서 330을 등록·활성화한 뒤 455를 수집해 active가 자동 변경되지 않는지 확인할 수 있습니다. Poller가 330과 455를 첫 실행에서 함께 수집했다면 수집 자체로 이 순서가 검증됐다고 계산하지 않고, 테스트 상태와 수집 순서를 통제해 확인 부탁드립니다. 이미 더 높은 revision이 등록된 공유 DB의 active를 이번 시험 때문에 낮추지는 말아주세요.

실제 수집 확인 요청

  1. migration 적용 및 네 문제의 challenge_slug 매핑 준비 후 실제 HTTP Poller 수집.
  2. 동적 릴리스의 containers, registry_revision, resource_profile, GHCR digest DB 보존.
  3. 동일 artifact 재수집 시 중복 등록·저장 및 추가 다운로드 방지.
  4. 참가자 ZIP checksum·메타데이터 일치, 파일 있음/없음 조회와 다운로드 권한 확인.
  5. 분리된 테스트 상태에서 새 릴리스 등록 후 기존 active 유지 및 관리자 전환 확인.
  6. 실제 실행한 Backend commit SHA, storage 종류, 수집 집계와 검증 결과 공유.

이번 4종은 최초 수집과 기본 유무 구분용입니다. 같은 문제의 파일 변경, 파일 있음 → present:false 전환, 롤백, 통신 실패 재시도는 별도 시나리오이며 이 목록만으로 완료 처리하지 않습니다.

저장 담당은 합의대로 Backend입니다. 우선 로컬 MEDIA_ROOT에서 HTTP 수집을 검증할 수 있고, GCS 인증·storage 준비 후 같은 대상의 실제 저장·다운로드를 확인하면 됩니다. CI 직접 GCS 업로드는 비활성으로 유지합니다. 토큰은 Backend 실행 환경의 RELEASE_POLL_GITHUB_TOKEN에 설정하며 댓글·Git·결과 로그에는 포함하지 않습니다.

기존 고정 입력 목록:
https://github.com/MSG-CTF/msgctf-devsecops/blob/5dfffb07f4a1bf0dfd46b4c7e2ce63270e569ae7/docs/reports/2026-10-07-integration-readiness/input.json

기존 로컬 소비 검수 기록:
https://github.com/MSG-CTF/msgctf-devsecops/blob/5dfffb07f4a1bf0dfd46b4c7e2ce63270e569ae7/docs/reports/2026-10-07-integration-readiness/README.md

위 문서의 backend_sha는 10월 7일 로컬 검수 버전입니다. 이번 실제 HTTP 시험에는 최신 #80 테스트 커밋을 사용하고 그 SHA를 결과에 별도로 기록 부탁드립니다. 당시 로컬 검수는 GitHub HTTP 계층을 다운로드 파일로 대체했으므로 실제 HTTP 인증·GCS·개발 DB·Scheduler·Runtime 검증으로 계산하지 않습니다.

관련 릴리스 연동 PR: #26

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

실제 GitHub 발행본 4종으로 파일 수집·다운로드·배포 버전 전환까지 확인했습니다
기존 버전 유지, 재수집 시 중복 다운로드 방지, 권한 없는 다운로드 차단도 확인했습니다

GCS 오류 처리 한 곳만 보완 부탁드립니다
아래 세 오류는 SDK 예외를 넣어 재현했고, 실제 GCS 버킷 업로드·다운로드는 아직 확인하지 못했습니다

Comment thread apps/instances/user_files.py Outdated

try:
status, detail = register_user_files_bundle(manifest, archive_bytes, artifact)
except OSError as error:

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[P2] GCS 오류가 나면 수집기가 종료됩니다

여기서는 OSError만 잡는데 GCS의 503, 권한 오류, 인증 갱신 오류는 각각 ServiceUnavailable, Forbidden, RefreshError로 올라옵니다
세 경우 모두 다음 파일을 처리하지 못하고 종료되는 것을 재현했습니다

GCS 예외도 처리해서 나머지 파일은 계속 수집하고, 실패한 파일은 미처리 상태로 남겨 다음 주기에 재시도하도록 수정 부탁드립니다

@jongcoding
jongcoding merged commit bd7f894 into feature/challenge-releases Oct 16, 2026
7 checks passed
@gimgyumin0207
gimgyumin0207 deleted the feature/challenge-user-files branch November 10, 2026 06:40
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

4 participants