Skip to content

feat(instances): 문제 릴리스 버전 관리와 공급망 자동 수집 - #26

Merged
jongcoding merged 81 commits into
mainfrom
feature/challenge-releases
Oct 18, 2026
Merged

jongcoding merged 81 commits into
mainfrom
feature/challenge-releases

Conversation

@jongcoding

@jongcoding jongcoding commented Aug 27, 2026 •

Copy link
Copy Markdown
Contributor

요약

DevSecOps 공급망이 발행한 artifact-v2.json 한 벌을 문제 릴리스로 등록하고 버전별로 관리합니다. 등록 단위는 개별 이미지가 아니라 info.yaml에서 생성된 전체 컨테이너 세트입니다.

  • 릴리스 등록, 현재 버전 전환(롤백 포함), 이력 조회 관리자 API 제공
  • ChallengeRelease와 ReleaseContainer에 bundle의 컨테이너 세트와 실행 설정 저장
  • 인스턴스 생성 시 현재 활성 릴리스의 전체 컨테이너를 Scheduler에 전달
  • 인스턴스에 사용한 release_id를 스냅샷으로 보존
  • poll_releases가 GitHub Actions publish bundle을 주기적으로 수집해 등록하며 active release는 자동 전환하지 않음
  • 기존 challenge_runtime_configs의 단일 이미지 설정은 registry_revision=0인 legacy 릴리스로 백필

명세

릴리스 검증 규칙

  • schema_version: 2.0, scan_result: PASS만 허용
  • registry_revision을 공식 revision으로 사용하며 legacy revision이 함께 있으면 두 값의 일치 여부 검증
  • digest 고정 GHCR 참조만 허용하고 tag 및 latest 거절
  • isolation_profile은 WEB 또는 PWN만 허용
  • 컨테이너 1개 이상 8개 이하, 컨테이너별 선언 포트 1개 이상 8개 이하
  • 공개 포트 총합 1개 이상 8개 이하
  • WEB은 여러 공개 컨테이너와 공개·비공개 포트 혼합 허용
  • PWN은 공개 컨테이너가 정확히 1개이고 해당 컨테이너의 선언 포트와 공개 포트가 각각 정확히 1개여야 함
  • 컨테이너 수에 비해 CPU, memory, ephemeral storage가 부족한 릴리스는 활성화 거절
  • registry_revision=0인 legacy 릴리스는 정식 릴리스 등록 및 활성화 전까지 배포 차단
  • Runtime STANDARD@v2 계약에 따라 internal_connections는 저장하거나 전달하지 않음

Scheduler 생성 계약

  • 활성 릴리스의 전체 컨테이너를 containers[]로 전달
  • ReleaseContainer.image_ref를 containers[].image로 변환
  • 컨테이너에 선언된 전체 포트를 ports로 전달
  • public=true인 포트만 exposed_ports로 전달
  • registry_revision, isolation_profile, resource_profile 전달
  • Scheduler 응답의 registry_revision이 누락되거나 일치하는 릴리스를 찾을 수 없으면 fail-closed 처리
  • Scheduler의 다중 endpoints를 DB에 저장하고 참가자 응답에 포함
  • 기존 단일 service_url 호환 유지
  • 생성, reset, active 조회 복구 과정에서 동일한 release snapshot 유지

Poller

  • bundle에 challenge_id가 있으면 UUID로 문제 확인
  • challenge_id가 없으면 Challenge.challenge_slug로 최초 릴리스부터 직접 매핑
  • 기존 Challenge 데이터에 slug가 없는 경우에만 기존 릴리스의 challenge_slug를 호환 경로로 사용
  • 문제 제목과 bundle의 name은 문제 매핑에 사용하지 않음
  • 성공한 workflow run, 허용 branch, source_ref, workflow head SHA와 bundle source_sha 일치 여부 검증
  • GitHub Actions artifact API를 페이지당 최대 100개씩 전체 pagination하여 만료되지 않은 -publish-bundle을 모두 수집
  • 동일한 challenge_id + registry_revision은 duplicate로 처리
  • 새 revision을 등록해도 기존 active release는 자동 변경하지 않음

마이그레이션 및 호환

  • 기존 runtime config의 이미지, 포트, architecture, resource 설정을 version 1 legacy 릴리스로 백필
  • legacy 릴리스는 registry_revision=0, 빈 challenge_slug로 정식 공급망 릴리스와 구분
  • 정식 릴리스를 등록하고 관리자가 활성화한 이후 인스턴스 생성 가능

테스트

  • python manage.py check
  • python manage.py makemigrations --check --dry-run
  • python manage.py test apps.instances apps.adminpanel apps.challenge
  • 관련 Backend 테스트 199건 통과
  • 최신 GitHub CI, Docker build, SAST, security scan, Semgrep, Trivy 통과
  • 멀티 컨테이너 Scheduler payload, 공개 포트 규칙, release snapshot, 다중 endpoint 보존, Poller slug 최초 매핑 및 전체 pagination 테스트 포함

병합 전 확인

  • 실제 문제 저장소 publish bundle의 최초 수집과 duplicate 처리
  • 새 revision 등록 후 기존 active release 유지
  • 관리자 active release 전환
  • Backend → Scheduler → Runtime 실제 인스턴스 생성
  • web → db 통신 및 여러 공개 접속 주소 반환
  • 정식 릴리스 등록·활성화 후 registry_revision=0 legacy 설정에서 전환

Comment thread apps/instances/poller.py Fixed
)
try:
# 로컬 백엔드 주소로만 전달하는 개발용 프록시다
with urlopen(request, timeout=10) as response: # nosec B310
@wlsdnd2367

Copy link
Copy Markdown

DevSecOps PR #7의 poller 계약을 대조하면서 internal_connections 전달 경계를 확인했습니다.

현재 DevSecOps artifact-v2.json은 다음 값을 workload.internal_connections에 원형 보존하고 Runtime smoke 요청에도 전달합니다.

{
  "workload": {
    "containers": [
      {"name": "web", "image": "ghcr.io/msg-ctf/challenges/example/web@sha256:...", "ports": [{"port": 8080, "public": true}]},
      {"name": "db", "image": "ghcr.io/msg-ctf/challenges/example/db@sha256:...", "ports": [{"port": 5432, "public": false}]}
    ],
    "internal_connections": [
      {"source_container": "web", "destination_container": "db", "port": 5432}
    ]
  }
}

PR #26의 validate_release_artifact() 반환값에는 containers는 포함되지만 internal_connections가 없어 이후 저장과 조회에서 사라집니다. 이 필드는 DevSecOps 생성 문제가 아니라 Backend release 모델·validator·serializer·Scheduler 요청 계약에서 보존해야 할 값으로 보입니다.

확인 부탁드리는 수용 기준은 다음과 같습니다.

  • 위 web → db 연결이 포함된 bundle 등록 성공
  • 등록 직후 DB에서 다시 읽어도 internal_connections가 동일하게 유지
  • release 이력 조회 응답에도 동일한 값 유지
  • active release로 인스턴스 생성 시 Scheduler 요청에 동일한 값 전달
  • source/destination이 존재하지 않거나 TCP port가 잘못된 연결은 등록 단계에서 거절

DevSecOps 쪽 현재 Actions 검증은 통과했지만 실제 Backend poller 수집과 DB 등록 E2E는 아직 완료 증거가 없습니다. Backend 수정 브랜치가 정해지면 같은 bundle fixture로 최초 등록, 동일 revision 재수집, 새 revision 등록 후 active 유지까지 연동 검증하겠습니다.

ialleejy and others added 5 commits September 14, 2026 01:08
공급망 publish bundle(artifact-v2.json) 한 벌을 릴리스로 등록하고
활성 릴리스를 전환한다. 인스턴스 생성은 현재 릴리스의 public 컨테이너
이미지를 Scheduler에 전달하고 release_id를 스냅샷으로 남긴다.

- challenge_releases와 challenge_release_containers 테이블 추가
- 기존 runtime_config 단일 이미지 설정을 version 1 릴리스로 백필
- 멀티 컨테이너 릴리스는 등록만 허용하고 활성화는 Scheduler 계약
  확장 전까지 RELEASE_NOT_DEPLOYABLE로 거절
- digest 고정 GHCR 참조만 허용, scan_result PASS와 slug 대조 검증
- contract.yaml 에러코드 4종 등록
manage.py poll_releases가 문제 저장소 Actions artifact에서
publish bundle을 수집해 릴리스로 자동 등록한다.

- 매핑은 기존 릴리스 slug 우선, 없으면 bundle name과 문제 제목 일치
- 등록된 registry_revision은 건너뛰고 전환은 하지 않는다
- 기본 1회 실행으로 cron 친화, --interval로 주기 실행
- RELEASE_POLL_* 환경변수로 저장소와 토큰 설정
백엔드 팀이 릴리스 기능을 로컬에서 눈으로 확인하는 도구.
실백엔드에 가짜 스케줄러와 가짜 GitHub artifact 저장소를 붙여
출제자 push부터 버전 축적, 전환, 인스턴스 배포까지 재현한다.

- tools/release-demo/README.md 순서대로 터미널 3개면 뜬다
- 문제 목록은 2026_MSG_CTF info.yaml 구조 그대로, 플래그는 자리표시자
- poll_releases를 붙이면 push 후 자동 등록 흐름까지 재현된다
@gimgyumin0207
gimgyumin0207 force-pushed the feature/challenge-releases branch from fdba92d to a62226b Compare September 13, 2026 16:19
@wlsdnd2367

Copy link
Copy Markdown

실제 HTTP Poller 연동 시험에 사용할 산출물 목록을 #80에 전달했습니다.

#80 (comment)

2026-10-14 기준 모두 main의 성공한 실행이며 지정한 artifact는 존재하고 만료되지 않았습니다.

  • pwn-random6 revision 455: run 37345781390
  • misc-cashout revision 449: run 37341655773
  • 기존 active 유지 비교용 pwn-random6 revision 330: run 36388354543

참가자 파일 4종의 run·정확한 artifact 이름·ID, source SHA, 테스트 순서와 미검증 범위도 위 댓글에 포함했습니다. 정적 문제는 참가자 파일 경로로 검증하고 실행용 릴리스 등록을 요구하지 않습니다.

인증 승인 후 최신 테스트 브랜치에서 실제 HTTP 수집·DB 보존·중복 방지·기존 active 유지 결과를 공유 부탁드립니다. 이번 확인은 실행과 artifact 목록의 재조회이며 Backend HTTP Poller나 GCS·Runtime 시험을 새로 실행한 것은 아닙니다.

Comment thread apps/instances/poller.py
# Artifact downloads redirect to signed external storage URLs.
request.add_unredirected_header("Authorization", "Bearer " + token)
# 위에서 scheme을 http와 https로 제한한 운영 설정만 사용한다
with urlopen(request, timeout=timeout) as response: # nosec B310
request.add_unredirected_header("Authorization", "Bearer " + token)
try:
# The URL above fixes HTTPS and api.github.com; callers supply repository API paths only.
with urlopen(request, timeout=8) as response: # nosec B310
Comment thread tools/gcs_smoke.py
))
try:
# base is the loopback HTTP server created above, not an input URL.
with urlopen(req, timeout=90) as response: # nosec B310
Comment thread tools/gcs_smoke.py
url += "/" + quote(settings.GCS_OBJECT_PREFIX + "/" + key, safe="/")
try:
# HTTPS host is fixed; bucket and object key are URL-quoted path components.
with urlopen(url, timeout=30) as response: # nosec B310

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

최신 25e3250 기준 CI 931개 통과했고, main과 합친 코드도 앞서 로컬 연동 검증한 코드와 같습니다

다만 실제 배포 환경 검증은 아직 남아 있어 머지는 보류하겠습니다

  • 스케줄러 상태 확인은 200이지만, 인증 요청을 보낼 HTTPS·SSH 접속 경로가 아직 준비되지 않았습니다
  • 이전 시험 인스턴스는 런타임에서 TERMINATED로 조회됩니다 다만 과거 삭제 작업은 실패 기록 그대로라, 이번 정상·실패 생성과 정리까지 확인한 결과는 아닙니다
  • 배포된 스케줄러·런타임 버전과 비밀값 조회 설정도 확인이 필요합니다

접속이 준비되면 정상 생성·접속, 준비 상태 검사 실패 후 자원 삭제·예약 반납까지 확인하고 머지하겠습니다

최신 CI · 실제 런타임 상태 조회

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

런타임 VM에 K3s를 연결하고 실제 GHCR 단일 문제와 웹·DB 문제의 생성·접속·삭제를 확인했습니다
상태 확인을 일부러 실패시킨 경우도 재시도 후 정리됐고 Namespace와 실행 컨테이너가 남지 않았습니다

실패한 인스턴스가 백엔드 DB에 REQUESTED로 남는 기존 문제는 수정했습니다
로컬 전체 테스트 934개와 실제 스케줄러의 실패 기록 6개로 상태 동기화를 확인했습니다

현재 브로커가 꺼져 있어 정상 예약부터 생성·삭제·예약 반납까지의 전체 경로는 아직 확인하지 못했습니다
운영 백엔드의 비밀값 조회 연결도 남아 있어 머지는 보류합니다

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

검증용 백엔드·브로커와 배포된 스케줄러·런타임으로 확인했습니다

  • 단일 웹·웹/DB 생성·접속·삭제와 플래그·DB 비밀값 주입 통과
  • 잘못된 비밀값 참조와 준비 실패 후 자원 정리·예약 반납 통과
  • 삭제 후 STOPPING에 남는 부분 수정, 전체 935개 테스트 통과

이 기준으로 머지 진행하겠습니다

@jongcoding
jongcoding merged commit 0609949 into main Oct 18, 2026
8 checks passed
@jongcoding
jongcoding deleted the feature/challenge-releases branch November 10, 2026 06:37
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

4 participants