From f7225dd44eb5944bd08191024bffaf64c8e8d748 Mon Sep 17 00:00:00 2001 From: ialleejy Date: Thu, 8 Oct 2026 17:44:43 +0900 Subject: [PATCH 1/4] feat: publish execution env and backend secret aliases --- .github/workflows/challenge-supply-chain.yml | 3 +- docs/challenge-execution-settings.md | 318 +++++------------- docs/challenge-registry-integration.md | 7 + .../2026-10-08-execution-settings.json | 51 +++ docs/testing/2026-10-08-execution-settings.md | 85 +++++ scripts/execution_settings_contract.py | 52 +++ scripts/generate_publish_bundle.py | 13 +- scripts/runtime_api_smoke_runner.py | 7 + scripts/validate_info_spec.py | 10 +- tests/test_execution_settings_contract.py | 87 +++++ tests/test_healthcheck_contract.py | 2 +- tests/test_validate_info_spec.py | 2 +- tests/test_workflow_contracts.py | 8 + 13 files changed, 405 insertions(+), 240 deletions(-) create mode 100644 docs/testing/2026-10-08-execution-settings.json create mode 100644 docs/testing/2026-10-08-execution-settings.md create mode 100644 scripts/execution_settings_contract.py create mode 100644 tests/test_execution_settings_contract.py diff --git a/.github/workflows/challenge-supply-chain.yml b/.github/workflows/challenge-supply-chain.yml index 48db8f5..d341652 100644 --- a/.github/workflows/challenge-supply-chain.yml +++ b/.github/workflows/challenge-supply-chain.yml @@ -685,6 +685,7 @@ jobs: aws s3 cp dist/runtime-smoke-config.json "s3://${BUCKET}/${prefix}/runtime-smoke-config.json" aws s3 cp .msgctf-ci/scripts/runtime_api_smoke_runner.py "s3://${BUCKET}/${prefix}/runtime_api_smoke_runner.py" aws s3 cp .msgctf-ci/scripts/healthcheck_contract.py "s3://${BUCKET}/${prefix}/healthcheck_contract.py" + aws s3 cp .msgctf-ci/scripts/execution_settings_contract.py "s3://${BUCKET}/${prefix}/execution_settings_contract.py" - name: SSM으로 Secure Provisioner smoke test 실행 env: @@ -697,7 +698,7 @@ jobs: --instance-ids "$INSTANCE_ID" \ --document-name AWS-RunShellScript \ --comment "MSGCTF Secure Provisioner runtime smoke deployment" \ - --parameters "commands=[\"set -euo pipefail\",\"install -d -m 0700 ${remote_dir}\",\"trap 'rm -rf ${remote_dir}' EXIT\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/artifact-v2.json ${remote_dir}/artifact-v2.json\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/runtime-smoke-config.json ${remote_dir}/runtime-smoke-config.json\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/runtime_api_smoke_runner.py ${remote_dir}/runtime_api_smoke_runner.py\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/healthcheck_contract.py ${remote_dir}/healthcheck_contract.py\",\"python3 ${remote_dir}/runtime_api_smoke_runner.py --artifact ${remote_dir}/artifact-v2.json --config ${remote_dir}/runtime-smoke-config.json --timeout 180 --cleanup-timeout 180\"]" \ + --parameters "commands=[\"set -euo pipefail\",\"install -d -m 0700 ${remote_dir}\",\"trap 'rm -rf ${remote_dir}' EXIT\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/artifact-v2.json ${remote_dir}/artifact-v2.json\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/runtime-smoke-config.json ${remote_dir}/runtime-smoke-config.json\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/runtime_api_smoke_runner.py ${remote_dir}/runtime_api_smoke_runner.py\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/healthcheck_contract.py ${remote_dir}/healthcheck_contract.py\",\"aws s3 cp s3://${BUCKET}/${PREFIX}/execution_settings_contract.py ${remote_dir}/execution_settings_contract.py\",\"python3 ${remote_dir}/runtime_api_smoke_runner.py --artifact ${remote_dir}/artifact-v2.json --config ${remote_dir}/runtime-smoke-config.json --timeout 180 --cleanup-timeout 180\"]" \ --query 'Command.CommandId' --output text)" for _ in $(seq 1 150); do status="$(aws ssm get-command-invocation --command-id "$command_id" --instance-id "$INSTANCE_ID" --query Status --output text 2>/dev/null || true)" diff --git a/docs/challenge-execution-settings.md b/docs/challenge-execution-settings.md index 7e78aea..62129f0 100644 --- a/docs/challenge-execution-settings.md +++ b/docs/challenge-execution-settings.md @@ -1,236 +1,84 @@ -# 문제 실행 설정 계약과 협업 확인 - -## 현재 결론 - -이미지 빌드·보안 검사 성공은 문제 실행 성공과 다릅니다. info.yaml에 없는 -Compose 실행 설정은 publish bundle에 자동으로 포함되지 않습니다. -이번 변경은 필요한 설정을 점검하고 미지원 입력이 조용히 삭제되는 것을 막습니다. -환경변수나 네트워크 필드를 임의로 새 API에 전송하지 않습니다. - -DevSecOps는 문제 사양 검증과 bundle 발행, Backend는 저장과 등록, -Scheduler는 생성·reset 전달, Runtime은 설정 적용·격리·준비 상태 판정을 담당합니다. -실제 출제자 확인과 팀 간 계약 승인은 아직 필요합니다. - -## 지원 필드 - -| info.yaml | CI 배포 정보 | 지원 상태 / 남은 일 | -|---|---|---| -| deployment.runtime_type | runtime_type | 검증·발행 지원 | -| deployment.architecture | architecture | 검증·발행 지원 | -| deployment.containers[].name | workload.containers[].name | 검증·발행 지원 | -| build / image | workload.containers[].image | GHCR digest 고정 이미지로 발행 | -| ports / expose | workload.containers[].ports[].port/public | Runtime smoke에서는 ports/exposed_ports로 변환, expose 미전송 | -| deployment.resource_profile | resource_profile | CPU·메모리·임시 저장 용량 합산 지원 | -| deployment.healthcheck.container/port/path | workload.healthcheck | CI 검증·보존 및 직접 Runtime smoke 전달 지원. Backend #26·Scheduler #59·Runtime 연결의 실제 생성 검증은 별도 필요 | -| flag | 없음 | CI output·bundle에 값 미포함. 런타임 FLAG 주입으로 자동 변환하지 않음 | -| registry_revision | registry_revision | workflow 입력으로 지정, release 식별 및 이력 관리 | - -Runtime smoke의 run_as_user 기본값은 10001입니다. 문제별 UID 지정은 현재 -info.yaml 계약이 아닙니다. Runtime에 writable_paths가 있더라도 CI와 Backend를 -거치는 전체 경로가 합의됐다는 뜻은 아닙니다. - -현재 info.yaml의 expose는 컨테이너 단위이므로 true이면 선언된 모든 포트가 -public으로 정규화됩니다. Runtime의 exposed_ports 지원과는 별개로, 같은 컨테이너의 -공개/비공개 포트를 info.yaml에서 따로 지정하는 계약은 추가 합의가 필요합니다. -healthcheck나 관리자 포트를 참가자 포트와 함께 선언했다고 자동으로 비공개가 되지 않습니다. - -미지원 컨테이너·healthcheck·resource_profile 필드는 이제 validator가 오류로 -처리합니다. environment, env, command, volumes, networks 등을 지금 info.yaml에 -추가하면 실행에 적용되지 않고 명세 검증에서 거절됩니다. -YAML 문법 오류도 원문이나 traceback 대신 고정된 안내로 출력해 비밀값 노출을 막습니다. - -## 실제 문제 점검 - -2026-10-02 문제 저장소 main `efb2fa39f5e935224fc4be1d24bea6db5930c57a` 기준: - -- 총 37개: deployment 있음 23개, 없음 14개. -- 서버 문제 중 info.yaml healthcheck 선언 7개. -- 서버 문제 중 환경변수 이름 발견 19개. 기본값·테스트 참조도 포함한 후보이며 필수 설정 수는 아님. -- 별도 네트워크 분리 검토 후보: web-afterimage, koth-dependency-hell. -- koth-jenga/docker-compose.layers.yml은 일반 YAML parser로 해석되지 않아 일부 미점검. - Compose 오류라고 단정하지 않으며 전용 태그·파일 문법을 출제자와 확인해야 함. - -전체 표는 [문제별 점검표](reports/2026-10-02-execution-settings/execution-settings.md), -컨테이너별 설정 이름은 [점검 JSON](reports/2026-10-02-execution-settings/execution-settings.json)에 있습니다. -이번 점검은 빌드·Trivy·GHCR 발행·K3s 배포를 재실행한 결과가 아닙니다. - -| 우선 확인 문제 | 필요한 확인 | -|---|---| -| pwn-random6 / crypto-nerves / web-grade-tampering | FLAG 필수 여부, 환경변수 기본값, 주입 책임자 | -| web-notebook | DB_HOST와 실제 내부 주소 대응, DB 계정·비밀번호 참조, 초기화 순서 | -| web-afterimage | 여러 네트워크·서비스 연결·인증키·봇 통신이 출제 의도에 필요한지 | -| koth-dependency-hell | 서비스 역할, 네트워크 분리, 저장소·인증키·외부 플랫폼 통신; 일반 문제와 같은 배포인지 별도 확인 | -| web-daily-point / KOTH 문제 | 쓰기 경로, 크기, 임시/영구 구분, reset 데이터 삭제 범위 | - -Compose 서비스명과 info.yaml 컨테이너명이 다르면 container_mapping으로 표시합니다. -checker 등 운영 보조 서비스이거나 이름 차이일 수 있으므로 자동 추가하지 않습니다. - -## 출제자 확인 양식 - -각 운영용 컨테이너별로 다음을 확인합니다. 비밀 값은 댓글이나 보고서로 받지 않습니다. - -| 항목 | 받을 내용 | -|---|---| -| 환경변수 | 이름, 필수/선택, 기본값 여부, 비밀 여부, 주입 담당자 | -| FLAG | 고정/동적 구분, 환경변수/파일 주입 중 무엇인지, 누락 시 동작 | -| 시작 명령 | 이미지 CMD/ENTRYPOINT로 충분한지, 추가 command/args가 필요한지 | -| 내부 주소 | 접속할 컨테이너·Service명·포트, Runtime이 발급하는 실제 내부 DNS와의 대응 | -| 저장소 | 컨테이너 경로, 용량, 공유 여부, 영속성, reset 초기화 기준 | -| healthcheck | 준비 완료를 확인하는 HTTP 경로·포트 또는 TCP/exec 필요 여부 | -| 네트워크 | 꼭 허용할 통신과 꼭 차단할 통신, 외부 접속 필요 여부 | - -정적 문제의 참가자 파일 전달은 별도 user-files-bundle 계약을 유지합니다. -실행 환경변수나 운영 인증키는 참가자 ZIP에 넣지 않습니다. - -## 합의할 실행 설정 - -아래는 제안이며 아직 지원되는 info.yaml 키나 Runtime API가 아닙니다. -합의 후에만 validator → publish bundle → Backend DB → Scheduler → Runtime 순서로 -추가하고 버전·하위 호환성 규칙을 함께 확정합니다. - -1. 일반 환경변수와 비밀 참조를 구분합니다. 이름·길이·개수·허용 변수 규칙을 - 검증하며 쉘 보간이나 명령 실행은 하지 않습니다. -2. FLAG·DB 비밀번호·인증키는 원문 대신 승인된 비밀 참조를 bundle에 기록하는 - 방향으로 협의합니다. 참조 발급·접근 범위·동적 값 생성·reset 처리 소유자는 - Backend/Runtime/보안팀이 정합니다. CI가 info.yaml.flag를 그대로 복사하지 않습니다. -3. healthcheck의 기존 HTTP 구조는 아래 계약대로 끝까지 보존합니다. TCP/exec, 시간 제한, - startup/readiness 판정이 필요하면 공통 계약을 추가합니다. Runtime에 없는 키를 먼저 보내지 않습니다. -4. 쓰기 경로·용량은 제한된 storage 계약으로 정의합니다. hostPath나 임의 호스트 - 마운트는 입력받지 않습니다. Compose volume을 그대로 복사하지 않습니다. -5. command/args는 필요한 문제 확인 후 지원 여부를 정합니다. 가능하면 이미지의 - CMD/ENTRYPOINT에 담고, 지원 시 쉘 문자열이 아닌 명시적 인자 배열을 사용합니다. -6. 새 bundle 등록, DB 왕복, 생성·reset 때 값/참조 보존을 검증합니다. -7. 같은 컨테이너의 포트별 공개 여부를 지정하는 입력 형식을 정합니다. Runtime의 - exposed_ports와 대응하되 기존 expose 입력의 변환·하위 호환성도 함께 확인합니다. - -## 네트워크 기준 - -현재 기준은 Runtime STANDARD@v2, 같은 인스턴스 내부 통신 허용, 다른 -인스턴스·팀 격리, 공개 포트만 외부 노출, 기본 egress NONE입니다. -CI는 raw NetworkPolicy와 Kubernetes manifest를 전달하지 않으며 -internal_connections를 다시 추가하지 않습니다. - -기본 정책으로 출제 의도가 유지되지 않는 문제는 필요한 허용/차단 조건을 문서로 -먼저 수집합니다. 제한된 네트워크 의도 DSL의 필드·허용값·기본값·Runtime 구현을 -합의하기 전에는 network_policy 같은 임의 키를 발행하지 않습니다. - -현재 Runtime은 컨테이너별 Pod·Service 구조입니다. 다른 컨테이너에 접속할 때는 -Runtime이 생성한 해당 Service의 내부 DNS와 포트를 사용합니다. `localhost`는 -자기 Pod를 가리키므로 다른 컨테이너의 DB 주소로 안내하지 않습니다. Compose의 -서비스명이 Runtime의 실제 Service 이름과 같다고 가정하지 않으며, DNS 매핑과 -DB_HOST 같은 실행 설정의 지원 계약을 Runtime·Backend·Scheduler와 확인합니다. - -같은 Pod 안에 여러 컨테이너를 두는 일반 Kubernetes 구성은 별도 개념입니다. -이 경우에만 IP와 포트 공간을 공유합니다. 현재 Runtime이 이 방식으로 실행한다고 -안내하지 않습니다. 표준 NetworkPolicy의 격리 단위는 Pod이므로 현재 구조에서는 -Pod별 정책을 적용할 수 있지만, 실제 출제 의도에 맞는 허용·차단 규칙 적용은 -Runtime 담당과 확인해야 합니다. -[Kubernetes Pod 네트워크](https://kubernetes.io/docs/concepts/workloads/pods/), -[NetworkPolicy](https://kubernetes.io/docs/concepts/services-networking/network-policies/). - -## HTTP healthcheck 계약과 연결 현황 - -2026-10-07 확인 기준으로 기존 HTTP 검사 구조는 다음과 같습니다. 새 info.yaml -옵션을 추가한 것이 아니라 이미 있는 값을 검증하고 직접 smoke 요청에 보존합니다. - -```yaml +# 문제 실행 설정 + +info.yaml에는 일반 환경변수 값과 백엔드 비밀값 이름을 적습니다 +CI는 검증한 설정을 릴리스 파일에 담고 백엔드가 해당 문제의 비밀값 버전을 선택합니다 +실제 값 주입과 NetworkPolicy 적용은 런타임이 맡습니다 + +| 입력 | 발행 파일 | 실행 때 처리 | +| --- | --- | --- | +| containers[].env | workload.containers[].env | 문자열 그대로 주입 | +| containers[].secret_env | workload.containers[].secret_env | 백엔드가 버전을 고정한 secret_ref로 변환 | +| healthcheck | workload.healthcheck | 승인된 HTTP readiness 검사 | +| category | isolation_profile | WEB·PWN 격리 프로필 선택 | +| ports·expose | ports[].port/public | 공개 포트 선택 | +| info.yaml의 flag | 포함하지 않음 | 운영자가 백엔드에 별도 등록 | + +~~~yaml deployment: - healthcheck: - container: web - port: 9090 - path: /healthz -``` - -- container는 선언된 컨테이너 이름과 정확히 일치해야 합니다. -- port는 해당 컨테이너가 선언한 1..65535 정수 포트이며 비공개 포트도 가능합니다. - healthcheck를 지정했다고 공개 포트로 바꾸지 않습니다. -- path는 `/`로 시작하고 공백·제어 문자를 포함하지 않아야 합니다. - Scheduler·Runtime과 동일하게 UTF-16 코드 단위 1024개 이하로 제한합니다. - 앞뒤 공백을 자동 삭제하지 않고 잘못된 입력으로 거절합니다. -- 생략 또는 null이면 bundle과 smoke 요청에 별도 healthcheck를 넣지 않습니다. - 빈 객체나 일부 필드 누락, 미지원 필드는 거절합니다. -- TCP/exec 검사와 출제자 지정 timeout은 지원 계약에 포함하지 않습니다. - 특히 PWN 준비 상태 기준은 별도 합의 없이 추가하지 않습니다. - -| 단계 | 확인된 코드 | 아직 확인할 내용 | -|---|---|---| -| DevSecOps | info.yaml 검증 → bundle 보존 → 직접 smoke의 workload.healthcheck 전달 | 병합 후 caller SHA 갱신 및 실제 발행 bundle 시험 | -| Backend #26 | 릴리스 저장, 생성 요청의 healthcheck 전달 | 병합·배포, 실제 DB 왕복 및 연동 | -| Scheduler #59 | 저장·reset 보존, Runtime 요청 전달 코드 | 병합·배포와 SCHEDULER_INSTANCE_POLICY_HEALTHCHECK_ENABLED 설정 | -| Runtime | 컨테이너 HTTP readiness 적용, 준비 실패 시 WORKLOAD_NOT_READY와 정리 코드 | 승인된 실제 이미지로 정상·실패 생성 시험 | - -Runtime의 HTTP 검사 구현은 배포 기준 커밋 -[`701567f4`](https://github.com/MSG-CTF/secure-provisioner/blob/701567f410a68518bb628463c8d5480559f31efc/internal/provisioner/readiness.go), -요청 적용은 [create 처리](https://github.com/MSG-CTF/secure-provisioner/blob/701567f410a68518bb628463c8d5480559f31efc/internal/httpapi/create.go)에서 확인했습니다. -Backend는 [PR #26](https://github.com/MSG-CTF/msg-backend/pull/26), -Scheduler는 [PR #59](https://github.com/MSG-CTF/instance-scheduler/pull/59) 기준입니다. -코드가 있다는 사실과 전체 경로의 실제 성공은 구분합니다. - -직접 Runtime smoke는 Backend·Scheduler를 거치지 않습니다. 모의 서버 테스트는 -요청에 값이 전달되는지와 기존 삭제 처리를 확인하며, 실제 K3s probe 성공의 증거가 아닙니다. -healthcheck를 생략해도 Runtime 이미지 정책에 기본 검사가 있을 수 있으므로, -생략을 검사 완전 비활성이나 애플리케이션 정상 보장으로 해석하지 않습니다. - -실제 연동에서는 정상 HTTP 검사 성공과 실패 경로를 각각 확인합니다. -실패한 컨테이너를 RUNNING으로 기록하지 않는지, 실패 정리가 완료되는지, -reset 뒤 동일한 healthcheck가 유지되는지도 각 담당과 확인해야 합니다. - -## 담당별 요청 - -| 담당 | 요청 | 완료 조건 | -|---|---|---| -| DevSecOps + 출제자 | 점검표로 필수 실행 설정과 내부 통신 의도 확인 | 출제자 확인 기록, 지원/미지원 구분 | -| Backend | healthcheck 끝까지 보존, 신규 설정/비밀 참조 저장 계약 검토 | 등록·조회·DB 왕복 보존, 생성 요청에 포함 | -| Scheduler | 생성·reset 때 같은 실행 설정과 revision 전달 | 저장 후 재조회 및 reset 요청 동일성 확인 | -| Runtime | API 필드·준비 상태 판정·secret 주입·네트워크/스토리지 계약 제시 | 설정 적용, 실제 준비 확인, 종료된 컨테이너를 RUNNING으로 처리하지 않음 | - -대표 테스트는 FLAG 필요 단일 컨테이너, web+db, HTTP healthcheck, 네트워크 분리 -문제로 나눕니다. 정상 생성·접속·reset·삭제와 함께 필수 설정 누락, 비밀 참조 -권한 실패, healthcheck 실패를 검사합니다. 원문 비밀은 로그·증거 자료에 남기지 않습니다. - -## 점검 방법 - -```bash -python3 scripts/audit_execution_settings.py /path/to/2026_MSG_CTF \ - --source-sha <문제_저장소_commit_SHA> \ - --output-dir execution-settings -``` - -단일 문제 폴더도 점검할 수 있습니다. 루트와 for_organizer의 Compose에서 설정 -이름·존재 여부를 읽고, for_organizer의 일부 코드와 .env에서 환경변수 이름을 -추출합니다. Compose 실행·환경변수 보간·secret 값 출력은 하지 않습니다. -for_user, exploit, 링크와 의존 패키지는 제외합니다. 1 MiB 초과 텍스트나 읽지 못한 -파일은 일부 미점검으로 표시합니다. 동적 변수명·셸 스크립트 등 모든 언어를 -완전하게 분석하지 않으므로 미발견을 설정 불필요로 해석하지 않습니다. - -두 reusable workflow에서 검증 전에 `-execution-settings` 자료를 -업로드하며 14일 보관합니다. 이는 성공한 release bundle이 아닌 진단 자료입니다. -진단 도구나 자료 업로드가 실패해도 실제 명세·Gitleaks 검증은 계속 실행되며, -명세와 보안 검사 실패는 기존처럼 CI를 차단합니다. -문제 저장소 caller의 workflow와 devsecops_ref를 함께 업데이트해야 실제 문제 -Actions에도 반영됩니다. 이번 PR에서 문제 저장소는 변경하지 않습니다. - -## 2026-10-05 리뷰 반영과 다음 연결 - -- 이번 PR은 점검과 미지원 입력 차단입니다. 환경변수 19개는 참조 후보이며 - 모두 실행 실패 또는 모두 필수라는 뜻이 아닙니다. 출제자가 필수 여부를 확인해야 합니다. -- 승인·병합 후 문제 저장소의 도구 checkout, branch workflow와 devsecops_ref, - main workflow와 devsecops_ref 총 5곳을 동일한 새 커밋 SHA로 갱신합니다. - 이미 적용된 Afterimage indexer 한정 예외도 같은 도구 버전에 포함해야 합니다. -- info.yaml 원문에는 flag가 있으므로 Runtime에 파일을 통째로 전송하지 않습니다. - 검증한 허용 필드만 bundle로 정규화하고 Backend → Scheduler → Runtime이 전달합니다. -- 네트워크는 현재 STANDARD@v2, 내부 통신 허용, 인스턴스·팀 격리, 공개 포트만 - 외부 노출, egress NONE을 유지합니다. internal_connections나 raw NetworkPolicy를 - 다시 추가하지 않습니다. 문제별 예외 의도 DSL은 수신·보존·적용 계약 승인 전까지 미지원입니다. -- Runtime에 확인할 내용은 필드명, 허용 값, 기본값, Service DNS 매핑, 정책 버전과 - reset 보존 규칙입니다. Backend·Scheduler는 해당 값의 저장과 끝까지 전달을 확인합니다. -- GCP Runtime의 무인증 HTTPS 연결 점검은 실제 생성·접속·reset·삭제 검증과 다릅니다. - 실제 문제 배포 성공이나 전체 Linux/Docker 실행 검증으로 기록하지 않습니다. - -2026-10-05 당시 확인 기준 (최신 HTTP 계약은 위 2026-10-07 항목 참조): -- DevSecOps main: b39f232fc4759b70928c4960e7a17bb33264bcec -- Backend 릴리스 PR #26: fb9d0df3fac0ec0bb424eabdbc1e9ff75d48b883 - (apps/instances/releases.py의 healthcheck 보존 확인, PR은 확인 시 Open) -- Runtime dev: 19d2fdffef753bb9415861c4a6b382b6408455ea - (docs/api/secure-provisioner.openapi.yaml의 Workload/RuntimeContainer 확인. - 현재 healthcheck·env·command 필드 없음) + runtime_type: KUBERNETES + architecture: AMD64 + containers: + - name: app + build: prob/for_organizer + ports: [8080] + expose: true + env: + APP_MODE: ctf + secret_env: + FLAG: flag + INTERNAL_TOKEN: internal_token + resource_profile: + cpu_millicores: 500 + memory_mib: 512 + ephemeral_storage_mib: 1024 +~~~ + +env와 secret_env의 이름은 64자 이하의 대문자 식별자입니다 +일반 값은 문자열만 허용하며 숫자·boolean은 따옴표로 감싸야 합니다 +FLAG와 SECRET·TOKEN·PASSWORD·PASSWD·PRIVATE_KEY·API_KEY·CREDENTIAL 이름의 값은 secret_env를 사용합니다 +비밀값 이름은 64자 이하의 소문자 식별자이며 FLAG는 flag를 참조합니다 +같은 변수 이름을 두 필드에 중복해서 넣을 수 없습니다 + +컨테이너당 합계 32개, 일반 값당 UTF-8 4096바이트, 일반 이름과 값의 합계 16384바이트까지 허용합니다 +백엔드와 런타임은 비밀값을 포함한 합계도 다시 검사합니다 +원문 비밀값은 Git·발행 파일·참가자 ZIP·검수 자료에 넣지 않습니다 + +## 적용 순서 + +1) 백엔드의 비밀값 저장·조회 API와 암호화 키를 준비합니다 +2) 런타임을 백엔드 조회 방식으로 바꾸고 새 스케줄러를 배포합니다 +3) 문제별 비밀값을 등록하고 새 릴리스를 등록·활성화합니다 +4) 문제 저장소 caller의 도구 checkout·두 workflow·두 devsecops_ref를 같은 고정 SHA로 갱신합니다 + +새 env·secret_env가 있으면 artifact schema 2.1로 발행합니다 +없으면 기존 schema 2.0 형식을 유지합니다 +구형 백엔드는 2.1을 거절하며 새 백엔드도 2.0에 새 필드를 넣으면 거절합니다 +파일 이름은 artifact-v2.json을 유지합니다 + +직접 Runtime smoke에는 일반 env만 전달할 수 있습니다 +secret_env가 있으면 백엔드 승인 경로가 필요하다는 오류로 중단합니다 +CI 토큰에 비밀값 조회 권한을 주거나 참조를 임의로 만들어 보내지 않습니다 + +## 검수표 + +| 확인할 것 | 기대 결과 | +| --- | --- | +| info.yaml → metadata → 발행 파일 | env·비밀값 이름 보존, flag 원문 없음 | +| 비밀값 누락·다른 문제의 이름 | 백엔드 릴리스 등록 실패 | +| 활성 릴리스 변경 후 기존 인스턴스 reset | 처음 선택한 revision·env·비밀값 버전 유지 | +| 비밀값 조회 실패 | Pod 생성 전에 실패, 원문 없는 오류 | +| 같은 인스턴스 내부 통신 | 허용 | +| 다른 인스턴스 통신·외부 egress | 기존 정책대로 차단 | +| 삭제 | namespace와 Secret 제거 | + +현재 네트워크는 STANDARD@v2, DNS와 같은 인스턴스 내부 통신 허용, 지정 포트 공개, egress NONE입니다 +raw NetworkPolicy·internal_connections·외부 통신 예외는 입력받지 않습니다 +컨테이너는 각각 별도 Pod이므로 내부 연결에는 대상 Service DNS를 사용합니다 +Compose 서비스명이 Runtime Service 이름과 같은지도 확인해야 합니다 + +command·volumes·임의 네트워크 설정은 계속 미지원입니다 +AFTERIMAGE의 인스턴스별 비밀값 생성과 Notebook의 DB 경로 문제는 별도 작업이며 기존 이미지 차단을 해제하지 않습니다 + +기존 37개 문제의 설정 후보는 [점검표](reports/2026-10-02-execution-settings/execution-settings.md)에 있습니다 +이 목록은 실행 성공 판정이 아니며 출제자가 필수 값·주소·reset 동작을 확인해야 합니다 +검사 코드는 [실행 설정 계약 테스트](../tests/test_execution_settings_contract.py)에서 확인할 수 있습니다 diff --git a/docs/challenge-registry-integration.md b/docs/challenge-registry-integration.md index 5b75b41..8df84ba 100644 --- a/docs/challenge-registry-integration.md +++ b/docs/challenge-registry-integration.md @@ -1,5 +1,12 @@ # Challenge Registry 통합 검증 +## 실행 설정 계약 + +env·secret_env가 있으면 schema 2.1로 발행하며 기존 설정은 2.0을 유지합니다 +백엔드는 문제별 비밀값 이름을 불변 버전으로 고정하고 런타임 조회용 UUID를 발급합니다 +CI는 비밀값 원문을 발행하지 않습니다 +계약과 검수표: [문제 실행 설정](challenge-execution-settings.md) + ## 검증 범위 Backend poller 운영 계약에서 `artifact-v2.json`은 성공한 diff --git a/docs/testing/2026-10-08-execution-settings.json b/docs/testing/2026-10-08-execution-settings.json new file mode 100644 index 0000000..905ecb3 --- /dev/null +++ b/docs/testing/2026-10-08-execution-settings.json @@ -0,0 +1,51 @@ +{ + "started_at": "2026-10-08T08:34:22.947717+00:00", + "scope": "local synthetic fixture, actual Backend/Scheduler/Broker/Runtime/PostgreSQL/K3s", + "supply_chain_scans": "synthetic unit fixture, not a Trivy/Gitleaks/registry verification", + "checks": [ + "CI generator schema 2.1 -> Backend registration/activation with encrypted secret versions", + "participant cannot set execution settings/create secrets; scheduler v2 and resolver require service authentication", + "real app gets ordinary env literally, FLAG and INTERNAL_TOKEN", + "immutable Secret only exposes app-specific keys; helper has no secretKeyRef", + "same-instance helper communication works", + "private helper has no NodePort; only app port is public", + "new team uses active revision 2 and new secret version", + "same-instance communication allowed; cross-instance private helper blocked", + "reset preserves original revision/env/secret version after activation changed", + "public metadata and local logs contain no secret plaintext", + "delete/reset cleanup removes every fixture namespace and namespace Secret" + ], + "completed_at": "2026-10-08T08:34:52.363483+00:00", + "instance_ids": [ + "9977f047-d3f1-488c-b903-57178ffa8076", + "4ff337fc-feec-40f2-a1a2-a6c48cf5cae2", + "2695ee7a-afe7-4412-97c1-3d1f32dcf4c7" + ], + "release_ids": [ + "93255370-0b49-490e-8fd7-42bce01821ae", + "c4cff16d-88f6-4706-a6eb-ce1d05305054" + ], + "result": "PASS", + "secret_storage_checks": { + "execution_backend.challenge_runtime_secrets": { + "row_count": 6, + "contains_plaintext_secret": false + }, + "execution_backend.challenge_release_containers": { + "row_count": 4, + "contains_plaintext_secret": false + }, + "execution_scheduler.challenge_instance": { + "row_count": 3, + "contains_plaintext_secret": false + }, + "execution_runtime.runtime_operations": { + "row_count": 6, + "contains_plaintext_secret": false + }, + "execution_runtime.runtime_bindings": { + "row_count": 3, + "contains_plaintext_secret": false + } + } +} \ No newline at end of file diff --git a/docs/testing/2026-10-08-execution-settings.md b/docs/testing/2026-10-08-execution-settings.md new file mode 100644 index 0000000..272d924 --- /dev/null +++ b/docs/testing/2026-10-08-execution-settings.md @@ -0,0 +1,85 @@ +# 실행 설정 연동 검수 + +검수일: 2026년 10월 8일 + +백엔드가 비밀값 버전을 선택하고 런타임이 조회·주입하는 경로를 확인했습니다 +환경변수와 참조는 CI 발행 파일부터 생성·reset까지 보존됩니다 +네트워크는 기존 격리 프로필과 포트 계약을 사용합니다 + +## 확인한 명세 + +| 문서 | 확인한 계약 | +| --- | --- | +| [Runtime API 10월 5일](https://app.notion.com/p/3f00f19c72be80e0a37bd22cb115749e) | 승인 이미지·비동기 실행·NetworkPolicy, 기존 FLAG 파일 모델 | +| [백엔드 릴리스 API](https://app.notion.com/p/3c80f19c72be811b9bc7fa7acaf9c753) | 릴리스 이력과 활성 포인터 | +| [Registry와 백엔드](https://app.notion.com/p/3bb0f19c72be8194817bd79af9ba1822) | CI 발행 파일을 백엔드가 수집, 스케줄러는 Registry를 읽지 않음 | +| [스케줄러 API](https://app.notion.com/p/3a50f19c72be804d81f7dba8d8876fa8) | 백엔드 생성 요청과 저장된 설정으로 reset | + +FLAG 관리 주체는 이번 요청에서 백엔드로 이전하도록 정했습니다 +10월 5일의 VM 파일 방식은 구현과 문서에서 제거했습니다 +공유 노션 페이지는 수정하지 않았습니다 + +## 코드 기준 + +| 저장소 | 검수 시작 commit | +| --- | --- | +| [백엔드 #26](https://github.com/MSG-CTF/msg-backend/pull/26) | 8642e68f05670b81b6aa36bb1180d685d5a9bf8d | +| [스케줄러 #59](https://github.com/MSG-CTF/instance-scheduler/pull/59) | c66b18e0bedf7ea027ec048fcd68606d4912196a | +| [런타임 #45](https://github.com/MSG-CTF/secure-provisioner/pull/45) | 701567f410a68518bb628463c8d5480559f31efc | +| DevSecOps main | 40513968fa9e4a8a624dc7c11a6e0a399aada323 | +| [문제 caller #79](https://github.com/MSG-CTF/2026_MSG_CTF/pull/79) | 9e53cf53abffe3f38214804192df578e8e6325e9 | +| [Broker #4](https://github.com/MSG-CTF/resource-broker/pull/4) | 99ff5b884e4bf2198dabca84a179c11f5a516785 | +| 프론트 main | c1aea65015fd89d4c0b7f09f27a34f70d2ca9f14 | + +프론트의 생성 요청은 이미 challenge_id만 보내고 있어 수정하지 않았습니다 +Broker는 현재 구현이 있는 #4로 실행했으며 코드 변경은 없습니다 +조직의 전체 PR과 모든 문제의 풀이를 검수했다는 뜻은 아닙니다 + +## 자동 검사 + +| 대상 | 결과 | 실행 범위 | +| --- | --- | --- | +| 백엔드 | 99개 통과 | apps.instances 전체, PostgreSQL 17, 새 마이그레이션 확인 | +| 스케줄러 | 382개 통과, 100개 skip | Gradle 전체, Docker가 필요한 자동 통합 검사는 skip | +| 런타임 | 793개 통과, 4개 skip | Go 전체와 PostgreSQL 저장·재시작·worker 검사, 하위 사례 포함 | +| DevSecOps | 194개 통과 | Linux 전체, 발행 계약·입력 검증·workflow 의존 파일 검사 | + +Runtime의 기존 K3s 환경 전용 4개 검사는 필요한 환경변수를 지정하지 않아 skip됐습니다 +아래 실제 연동은 별도로 구성한 로컬 K3s에서 실행했습니다 +Windows DevSecOps 전체 검사는 symlink·Git·bash 환경 차이로 실패해 Linux에서 다시 실행했습니다 + +## 실제 연동 결과 + +CI generator → 백엔드 → 스케줄러 → 실제 Broker → 런타임 → K3s를 연결했습니다 +세 서비스의 저장소는 PostgreSQL을 사용했습니다 +K3s는 v1.34.1+k3s1이며 일반 WEB 프로필의 시험용 이미지로 검사했습니다 +이미지는 로컬 containerd에 미리 넣었고 scan·SBOM 자료는 검사 fixture를 사용했습니다 + +| 검수 | 결과 | +| --- | --- | +| 일반 env와 FLAG·INTERNAL_TOKEN 주입 | 앱의 일반 값과 비밀값 hash 일치 | +| Kubernetes 변수 보간 | $(APP_MODE)를 입력 문자열 그대로 전달 | +| 컨테이너별 Secret | 변경 불가 Secret, app 키만 연결, helper에는 연결 없음 | +| 같은 인스턴스의 비공개 helper | 접속 성공, helper는 ClusterIP | +| 다른 인스턴스의 비공개 helper | 접속 실패 | +| 새 릴리스·비밀값 버전으로 새 팀 생성 | revision 2와 새 값 선택 | +| 기존 팀 reset | revision 1과 기존 env·비밀값 버전 유지 | +| 참가자의 실행 설정·비밀값 등록 | 400·403, 관리자 JWT로 내부 조회도 401 | +| 스케줄러 v2 무인증 요청 | 401 | +| 저장소·메타데이터·로그 | 비밀값 원문 없음, 백엔드 DB는 암호문으로 저장 | +| reset·삭제 정리 | 세 namespace와 Secret 제거 | + +원문 비밀값 대신 hash와 성공 여부만 기록했습니다 +상세 결과: [로컬 연동 기록](2026-10-08-execution-settings.json) + +## 반영할 때 남는 일 + +운영자는 암호화 키·worker 토큰과 문제별 비밀값을 등록해야 합니다 +새 FLAG 릴리스를 승인하기 전에는 생성·reset을 잠시 중단하고 구형 대기 요청을 정리해야 합니다 +인스턴스별 비밀값 생성과 FLAG 채점 hash의 릴리스별 관리, 외부 통신 예외는 별도 작업입니다 +AFTERIMAGE와 Notebook의 기존 차단은 유지합니다 +운영 GCP·PWN/gVisor·실제 문제 풀이·GHCR cold pull·새 공급망 scan은 이번 시험에 포함되지 않습니다 + +명세 이름 검사는 새 필드에서 위반이 없었습니다 +기존 runtime-status 경로 한 건은 시작 commit과 현재 명세에 동일하게 남아 있습니다 +호출 경로를 바꾸는 작업은 이 변경에 포함하지 않았습니다 diff --git a/scripts/execution_settings_contract.py b/scripts/execution_settings_contract.py new file mode 100644 index 0000000..a5b217d --- /dev/null +++ b/scripts/execution_settings_contract.py @@ -0,0 +1,52 @@ +import re + +ENV_NAME = re.compile(r"^[A-Z_][A-Z0-9_]{0,63}$") +SECRET_NAME = re.compile(r"^[a-z][a-z0-9_]{0,63}$") +SENSITIVE_NAME = re.compile(r"(?:SECRET|TOKEN|PASSWORD|PASSWD|PRIVATE_KEY|API_KEY|CREDENTIAL)") +MAX_ENV_COUNT = 32 +MAX_ENV_BYTES = 16384 +MAX_VALUE_BYTES = 4096 + + +def validate_env(raw): + if not isinstance(raw, dict) or len(raw) > MAX_ENV_COUNT: + raise ValueError("env must be an object with at most 32 entries") + total = 0 + result = {} + for name, value in raw.items(): + if not isinstance(name, str) or not ENV_NAME.fullmatch(name): + raise ValueError("env names must be uppercase identifiers of at most 64 characters") + if name == "FLAG" or SENSITIVE_NAME.search(name): + raise ValueError("secret values must use secret_env instead of env") + if not isinstance(value, str) or "\x00" in value: + raise ValueError("env values must be strings without NUL") + try: + size = len(value.encode("utf-8")) + except UnicodeEncodeError: + raise ValueError("env values must be valid UTF-8") from None + if size > MAX_VALUE_BYTES: + raise ValueError("env values must be at most 4096 bytes") + total += len(name) + size + result[name] = value + if total > MAX_ENV_BYTES: + raise ValueError("env exceeds 16384 bytes") + return result + + +def validate_secret_env(raw, env): + if not isinstance(raw, dict) or len(raw) > MAX_ENV_COUNT: + raise ValueError("secret_env must be an object with at most 32 entries") + result = {} + for name, alias in raw.items(): + if not isinstance(name, str) or not ENV_NAME.fullmatch(name): + raise ValueError("secret_env names must be uppercase identifiers") + if not isinstance(alias, str) or not SECRET_NAME.fullmatch(alias): + raise ValueError("secret_env values must be backend secret names") + if name in env: + raise ValueError("env and secret_env must not share names") + if name == "FLAG" and alias != "flag": + raise ValueError("FLAG must reference the backend secret named flag") + result[name] = alias + if len(env) + len(result) > MAX_ENV_COUNT: + raise ValueError("env and secret_env must contain at most 32 entries in total") + return result diff --git a/scripts/generate_publish_bundle.py b/scripts/generate_publish_bundle.py index 19f1f46..45378e8 100644 --- a/scripts/generate_publish_bundle.py +++ b/scripts/generate_publish_bundle.py @@ -4,6 +4,11 @@ import re from pathlib import Path +if __package__: + from .execution_settings_contract import validate_env, validate_secret_env +else: + from execution_settings_contract import validate_env, validate_secret_env + DIGEST = re.compile(r"^sha256:[0-9a-f]{64}$") COMMIT_SHA = re.compile(r"^[0-9a-f]{40}$") @@ -153,6 +158,8 @@ def generate_bundle( evidence_containers = [] for container in metadata["containers"]: result = validated_results[container["name"]] + env = validate_env(container.get("env", {})) + aliases = validate_secret_env(container.get("secret_env", {}), env) workload_containers.append( { "name": container["name"], @@ -161,6 +168,8 @@ def generate_bundle( {"port": port, "public": container["expose"]} for port in container["ports"] ], + **({"env": env} if env else {}), + **({"secret_env": aliases} if aliases else {}), } ) evidence_containers.append( @@ -180,7 +189,9 @@ def generate_bundle( workload["healthcheck"] = metadata["healthcheck"] artifact = { - "schema_version": "2.0", + "schema_version": "2.1" if any( + container.get("env") or container.get("secret_env") for container in workload_containers + ) else "2.0", "challenge_slug": metadata["challenge_slug"], "revision": revision, "registry_revision": revision, diff --git a/scripts/runtime_api_smoke_runner.py b/scripts/runtime_api_smoke_runner.py index 3183825..6d6fe80 100644 --- a/scripts/runtime_api_smoke_runner.py +++ b/scripts/runtime_api_smoke_runner.py @@ -18,8 +18,10 @@ if __package__: from .healthcheck_contract import validate_healthcheck + from .execution_settings_contract import validate_env, validate_secret_env else: from healthcheck_contract import validate_healthcheck + from execution_settings_contract import validate_env, validate_secret_env DIGEST_IMAGE = re.compile(r"^.+@sha256:[0-9a-f]{64}$") @@ -138,6 +140,10 @@ def build_create_request( for container in artifact_containers: if not isinstance(container, dict): raise ValueError("artifact container must be an object") + env = validate_env(container.get("env", {})) + aliases = validate_secret_env(container.get("secret_env", {}), env) + if aliases or "secret_ref" in container: + raise ValueError("secret_env requires a Backend release; direct CI smoke cannot resolve secrets") name = container.get("name") image = container.get("image") if not isinstance(name, str) or not name: @@ -175,6 +181,7 @@ def build_create_request( "ports": ports, "exposed_ports": exposed_ports, "run_as_user": _positive_int(container.get("run_as_user", 10001), "run_as_user"), + **({"env": env} if env else {}), } ) diff --git a/scripts/validate_info_spec.py b/scripts/validate_info_spec.py index 16b6715..3f204db 100644 --- a/scripts/validate_info_spec.py +++ b/scripts/validate_info_spec.py @@ -8,8 +8,10 @@ if __package__: from .healthcheck_contract import validate_healthcheck + from .execution_settings_contract import validate_env, validate_secret_env else: from healthcheck_contract import validate_healthcheck + from execution_settings_contract import validate_env, validate_secret_env SAFE_NAME = re.compile(r"^[a-z0-9][a-z0-9-]{0,62}$") @@ -77,7 +79,7 @@ def _validate_ports(raw_ports, container_name): def _validate_container(challenge_path, raw): if not isinstance(raw, dict): raise ValueError("each deployment container must be an object") - _reject_unknown_fields(raw, {"name", "build", "image", "ports", "expose"}, "container") + _reject_unknown_fields(raw, {"name", "build", "image", "ports", "expose", "env", "secret_env"}, "container") name = _required_string(raw.get("name"), "container.name") if not SAFE_NAME.fullmatch(name): raise ValueError("container name must be a safe lowercase identifier") @@ -95,6 +97,12 @@ def _validate_container(challenge_path, raw): if not isinstance(expose, bool): raise ValueError(f"{name}.expose must be a boolean") container["expose"] = expose + env = validate_env(raw.get("env", {})) + aliases = validate_secret_env(raw.get("secret_env", {}), env) + if env: + container["env"] = env + if aliases: + container["secret_env"] = aliases if has_build: container["build"] = _resolve_build_path(challenge_path, raw["build"]) diff --git a/tests/test_execution_settings_contract.py b/tests/test_execution_settings_contract.py new file mode 100644 index 0000000..7a301d0 --- /dev/null +++ b/tests/test_execution_settings_contract.py @@ -0,0 +1,87 @@ +import copy +import json +import tempfile +import unittest +from pathlib import Path + +import yaml + +from scripts.execution_settings_contract import validate_env, validate_secret_env +from scripts.generate_publish_bundle import generate_bundle +from scripts.runtime_api_smoke_runner import build_create_request +from scripts.validate_info_spec import validate_spec +from tests.test_generate_publish_bundle import METADATA, RESULTS, EVIDENCE_ROOT, SOURCE_REF, SOURCE_SHA +from tests.test_validate_info_spec import FIXTURE + + +class ExecutionSettingsContractTests(unittest.TestCase): + def test_info_metadata_and_bundle_preserve_only_general_env_and_secret_names(self): + with tempfile.TemporaryDirectory() as directory: + challenge = Path(directory) / "info-valid" + challenge.mkdir() + raw = yaml.safe_load((FIXTURE / "info.yaml").read_text(encoding="utf-8")) + container = raw["deployment"]["containers"][0] + build = challenge / container["build"] + build.mkdir(parents=True) + (build / "Dockerfile").write_text("FROM scratch\n", encoding="utf-8") + container["env"] = {"APP_MODE": "ctf", "FLAG_PATH": "/tmp/flag"} + container["secret_env"] = {"FLAG": "flag", "INTERNAL_TOKEN": "internal_token"} + raw["flag"] = "MSG{private-fixture-must-not-be-published}" + (challenge / "info.yaml").write_text(yaml.safe_dump(raw), encoding="utf-8") + metadata = validate_spec(challenge) + self.assertEqual(metadata["containers"][0]["secret_env"], container["secret_env"]) + self.assertEqual(metadata["containers"][0]["env"], container["env"]) + self.assertNotIn(raw["flag"], json.dumps(metadata)) + + metadata = copy.deepcopy(METADATA) + metadata["containers"][0].update({"env": container["env"], "secret_env": container["secret_env"]}) + bundle = generate_bundle(metadata, RESULTS, SOURCE_REF, SOURCE_SHA, 7, EVIDENCE_ROOT) + emitted = bundle["artifact"]["workload"]["containers"][0] + self.assertEqual(emitted["secret_env"], container["secret_env"]) + self.assertEqual(emitted["env"], container["env"]) + self.assertNotIn(raw["flag"], json.dumps(bundle)) + + def test_general_env_reaches_direct_runtime_smoke(self): + metadata = copy.deepcopy(METADATA) + metadata["containers"][0]["env"] = {"APP_MODE": "ctf"} + bundle = generate_bundle(metadata, RESULTS, SOURCE_REF, SOURCE_SHA, 7, EVIDENCE_ROOT) + request = build_create_request(bundle["artifact"], target_id="local", + instance_id="00000000-0000-4000-8000-000000000001", + team_id="00000000-0000-4000-8000-000000000002") + self.assertEqual(request["workload"]["containers"][0]["env"], {"APP_MODE": "ctf"}) + self.assertEqual(request["isolation_profile"], "WEB") + + def test_direct_ci_smoke_rejects_secret_requirements_instead_of_dropping_them(self): + metadata = copy.deepcopy(METADATA) + metadata["containers"][0]["secret_env"] = {"FLAG": "flag"} + bundle = generate_bundle(metadata, RESULTS, SOURCE_REF, SOURCE_SHA, 7, EVIDENCE_ROOT) + with self.assertRaisesRegex(ValueError, "Backend release"): + build_create_request(bundle["artifact"], target_id="local", + instance_id="00000000-0000-4000-8000-000000000001", + team_id="00000000-0000-4000-8000-000000000002") + + def test_values_types_names_collisions_and_limits_fail_without_echo(self): + invalid = ( + {"FLAG":"private-fixture"}, {"SECRET_KEY":"private-fixture"}, + {"APP_MODE":1}, {"APP_MODE":None}, {"lower":"private-fixture"}, + {"APP_MODE":"\x00"}, {"APP_MODE":"x"*4097}, + {f"V{index}":"x" for index in range(33)}, + {f"V{index}":"x"*4096 for index in range(4)}, + ) + for env in invalid: + with self.subTest(names=list(env)): + with self.assertRaises(ValueError) as caught: + validate_env(env) + self.assertNotIn("private-fixture",str(caught.exception)) + with self.assertRaises(ValueError): + validate_secret_env({"APP_MODE":"mode"}, {"APP_MODE":"plain"}) + with self.assertRaises(ValueError): + validate_secret_env({"FLAG":"other_secret"}, {}) + with self.assertRaises(ValueError): + validate_secret_env({"FLAG":"MSG{must-not-be-published}"}, {}) + + def test_bundle_generator_revalidates_metadata(self): + metadata = copy.deepcopy(METADATA) + metadata["containers"][0]["env"] = {"FLAG":"private-fixture"} + with self.assertRaisesRegex(ValueError,"secret_env"): + generate_bundle(metadata,RESULTS,SOURCE_REF,SOURCE_SHA,7,EVIDENCE_ROOT) diff --git a/tests/test_healthcheck_contract.py b/tests/test_healthcheck_contract.py index 1c3401a..661bb69 100644 --- a/tests/test_healthcheck_contract.py +++ b/tests/test_healthcheck_contract.py @@ -31,7 +31,7 @@ def test_staged_runner_imports_without_repository_or_site_packages(self): scripts = Path(__file__).resolve().parents[1] / "scripts" with tempfile.TemporaryDirectory() as temporary: root = Path(temporary) - for name in ("runtime_api_smoke_runner.py", "healthcheck_contract.py"): + for name in ("runtime_api_smoke_runner.py", "healthcheck_contract.py", "execution_settings_contract.py"): shutil.copyfile(scripts / name, root / name) result = subprocess.run( [sys.executable, "-S", str(root / "runtime_api_smoke_runner.py"), "--help"], diff --git a/tests/test_validate_info_spec.py b/tests/test_validate_info_spec.py index 90eebfd..6f12340 100644 --- a/tests/test_validate_info_spec.py +++ b/tests/test_validate_info_spec.py @@ -139,7 +139,7 @@ def test_rejects_unknown_deployment_field(self): self._validate_raw(raw) def test_rejects_unsupported_container_execution_settings_without_values(self): - for field in ("environment", "env", "command", "entrypoint", "volumes", "networks"): + for field in ("environment", "command", "entrypoint", "volumes", "networks"): with self.subTest(field=field): raw = self._raw_fixture() raw["deployment"]["containers"][0][field] = "sensitive-test-value" diff --git a/tests/test_workflow_contracts.py b/tests/test_workflow_contracts.py index b8f74f5..18adb12 100644 --- a/tests/test_workflow_contracts.py +++ b/tests/test_workflow_contracts.py @@ -343,6 +343,14 @@ def test_challenge_supply_chain_keeps_production_runtime_ownership(self): "aws s3 cp s3://${BUCKET}/${PREFIX}/healthcheck_contract.py ${remote_dir}/healthcheck_contract.py", execution["run"], ) + self.assertIn( + 'aws s3 cp .msgctf-ci/scripts/execution_settings_contract.py "s3://${BUCKET}/${prefix}/execution_settings_contract.py"', + staging["run"], + ) + self.assertIn( + "aws s3 cp s3://${BUCKET}/${PREFIX}/execution_settings_contract.py ${remote_dir}/execution_settings_contract.py", + execution["run"], + ) self.assertIn("inputs.runtime_target_id", text) self.assertIn("GHCR_PULL_SECRET_ARN", workflow["on"]["workflow_call"]["secrets"]) self.assertNotIn("GHCR_PULL_SECRET_ARN", str(smoke)) From 841e929b0890cb50ce7bf47543fc580b6754e968 Mon Sep 17 00:00:00 2001 From: ialleejy Date: Sat, 10 Oct 2026 02:24:56 +0900 Subject: [PATCH 2/4] fix: reject baked flags when publishing secret-backed challenges --- docs/challenge-execution-settings.md | 20 +++++++++++++++++ scripts/validate_info_spec.py | 27 ++++++++++++++++++++++- tests/test_execution_settings_contract.py | 17 ++++++++++++++ 3 files changed, 63 insertions(+), 1 deletion(-) diff --git a/docs/challenge-execution-settings.md b/docs/challenge-execution-settings.md index 62129f0..1b9ae83 100644 --- a/docs/challenge-execution-settings.md +++ b/docs/challenge-execution-settings.md @@ -50,6 +50,26 @@ FLAG와 SECRET·TOKEN·PASSWORD·PASSWD·PRIVATE_KEY·API_KEY·CREDENTIAL 이름 3) 문제별 비밀값을 등록하고 새 릴리스를 등록·활성화합니다 4) 문제 저장소 caller의 도구 checkout·두 workflow·두 devsecops_ref를 같은 고정 SHA로 갱신합니다 +## 문제별 적용 상태 + +`info.yaml`의 `env`에는 공개해도 되는 고정 설정만 적습니다 +플래그와 토큰은 문제별 `secret_env`에 백엔드 저장 이름만 적고, 관리자는 그 문제에 실제 값을 별도로 등록합니다 +이미지의 Dockerfile 기본값은 릴리스 API의 환경변수 목록에 나타나지 않으므로, 실행에 꼭 필요한 값은 명시적으로 선언해야 합니다 + +이번에 `FLAG: flag`를 연결한 문제는 crypto-nerves, crypto-reused-seal, pwn-random6, rev-tinyvm, web-daily-point, web-grade-tampering, web3-infinite-pack입니다 +web-logout-please도 같은 방식으로 이미 선언되어 있습니다 +해당 이미지에서 같은 플래그가 빌드 파일에 남아 있으면 명세 검증이 실패합니다 + +기존 GHCR digest의 이미지는 자동으로 바뀌지 않습니다 +새 소스로 이미지를 발행한 뒤 문제별 비밀값을 백엔드에 저장하고, 새 릴리스를 등록·활성화해야 주입이 적용됩니다 +기존 2.0 릴리스에는 비밀값 연결이 없으므로 그대로 재사용하지 않습니다 + +나머지는 이름만 보고 값을 복사하지 않습니다 +misc-cashout·misc-reqr·web-afterimage는 인스턴스별 seed/키와 내부 주소를 먼저 정해야 합니다 +web-notebook은 이미지의 DB 초기화 파일에 플래그가 있고 DB 쓰기 경로도 별도 검증이 필요합니다 +web3-split-brain-oracle은 체인 개인키와 signer 설정의 생성·보관 주체를 정해야 합니다 +환경변수 참조가 발견되지 않은 문제도 이미지에 비밀값이 남아 있는지 별도로 확인해야 합니다 + 새 env·secret_env가 있으면 artifact schema 2.1로 발행합니다 없으면 기존 schema 2.0 형식을 유지합니다 구형 백엔드는 2.1을 거절하며 새 백엔드도 2.0에 새 필드를 넣으면 거절합니다 diff --git a/scripts/validate_info_spec.py b/scripts/validate_info_spec.py index 3f204db..eef65b0 100644 --- a/scripts/validate_info_spec.py +++ b/scripts/validate_info_spec.py @@ -123,6 +123,30 @@ def _validate_container(challenge_path, raw): return container +def _check_flag_not_in_build(challenge_path, containers, flag): + marker = flag.encode("utf-8") + for container in containers: + if container.get("secret_env", {}).get("FLAG") != "flag" or "build" not in container: + continue + build_dir = challenge_path / container["build"] + for path in build_dir.rglob("*"): + if path.is_symlink() or not path.is_file(): + continue + try: + with path.open("rb") as source: + tail = b"" + while chunk := source.read(65536): + if marker in tail + chunk: + relative = path.relative_to(challenge_path) + raise ValueError( + f"{container['name']} build context contains the challenge flag: {relative}; " + "remove it before using secret_env.FLAG" + ) + tail = chunk[-(len(marker) - 1):] if len(marker) > 1 else b"" + except OSError: + raise ValueError("cannot inspect build context for an embedded flag") from None + + def validate_spec(challenge_path): challenge_path = Path(challenge_path).resolve() if not challenge_path.is_dir(): @@ -145,7 +169,7 @@ def validate_spec(challenge_path): if not CATEGORY.fullmatch(category): raise ValueError("category must be a lowercase identifier") _required_string(raw.get("description"), "description") - _required_string(raw.get("flag"), "flag") + flag = _required_string(raw.get("flag"), "flag") deployment = raw.get("deployment") metadata = { @@ -205,6 +229,7 @@ def validate_spec(challenge_path): _validate_container(challenge_path, raw_container) for raw_container in raw_containers ] + _check_flag_not_in_build(challenge_path, containers, flag) names = [container["name"] for container in containers] if len(names) != len(set(names)): raise ValueError("container name values must be unique") diff --git a/tests/test_execution_settings_contract.py b/tests/test_execution_settings_contract.py index 7a301d0..5f64340 100644 --- a/tests/test_execution_settings_contract.py +++ b/tests/test_execution_settings_contract.py @@ -15,6 +15,23 @@ class ExecutionSettingsContractTests(unittest.TestCase): + def test_flag_secret_alias_rejects_flag_embedded_in_image_context(self): + with tempfile.TemporaryDirectory() as directory: + challenge = Path(directory) / "info-valid" + challenge.mkdir() + raw = yaml.safe_load((FIXTURE / "info.yaml").read_text(encoding="utf-8")) + raw["flag"] = "MSG{private-fixture-must-not-be-published}" + container = raw["deployment"]["containers"][0] + container["secret_env"] = {"FLAG": "flag"} + build = challenge / container["build"] + build.mkdir(parents=True) + (build / "Dockerfile").write_text("FROM scratch\nCOPY app.txt /app.txt\n", encoding="utf-8") + (build / "app.txt").write_text("prefix" + raw["flag"] + "suffix", encoding="utf-8") + (challenge / "info.yaml").write_text(yaml.safe_dump(raw), encoding="utf-8") + with self.assertRaisesRegex(ValueError, "build context contains the challenge flag") as caught: + validate_spec(challenge) + self.assertNotIn(raw["flag"], str(caught.exception)) + def test_info_metadata_and_bundle_preserve_only_general_env_and_secret_names(self): with tempfile.TemporaryDirectory() as directory: challenge = Path(directory) / "info-valid" From 1b8df39967f687a75b1fa09c6118c019ed926447 Mon Sep 17 00:00:00 2001 From: ialleejy Date: Sat, 10 Oct 2026 03:06:04 +0900 Subject: [PATCH 3/4] docs: describe admin settings without challenge source changes --- docs/challenge-execution-settings.md | 23 +++++++++++------------ 1 file changed, 11 insertions(+), 12 deletions(-) diff --git a/docs/challenge-execution-settings.md b/docs/challenge-execution-settings.md index 1b9ae83..dd959b6 100644 --- a/docs/challenge-execution-settings.md +++ b/docs/challenge-execution-settings.md @@ -1,7 +1,8 @@ # 문제 실행 설정 -info.yaml에는 일반 환경변수 값과 백엔드 비밀값 이름을 적습니다 -CI는 검증한 설정을 릴리스 파일에 담고 백엔드가 해당 문제의 비밀값 버전을 선택합니다 +새 문제라면 info.yaml에 일반 환경변수와 백엔드 비밀값 이름을 선언할 수 있습니다 +기존 문제 파일을 수정하지 않을 때는 관리자 화면에서 발행된 릴리스를 복제하고 컨테이너별 주입 설정을 새 버전으로 저장합니다 +어느 경로든 백엔드가 해당 문제의 비밀값 버전을 선택합니다 실제 값 주입과 NetworkPolicy 적용은 런타임이 맡습니다 | 입력 | 발행 파일 | 실행 때 처리 | @@ -47,22 +48,20 @@ FLAG와 SECRET·TOKEN·PASSWORD·PASSWD·PRIVATE_KEY·API_KEY·CREDENTIAL 이름 1) 백엔드의 비밀값 저장·조회 API와 암호화 키를 준비합니다 2) 런타임을 백엔드 조회 방식으로 바꾸고 새 스케줄러를 배포합니다 -3) 문제별 비밀값을 등록하고 새 릴리스를 등록·활성화합니다 -4) 문제 저장소 caller의 도구 checkout·두 workflow·두 devsecops_ref를 같은 고정 SHA로 갱신합니다 +3) 기존 이미지에는 관리자에서 문제별 비밀값을 저장하고 해당 릴리스를 복제해 새 주입 설정 버전을 만듭니다 +4) 새 버전을 확인한 뒤 활성화합니다 기존 인스턴스는 처음 선택한 버전을 유지합니다 +5) info.yaml에서 설정을 발행할 때만 문제 저장소 caller의 도구 checkout·두 workflow·두 devsecops_ref를 같은 고정 SHA로 갱신합니다 ## 문제별 적용 상태 -`info.yaml`의 `env`에는 공개해도 되는 고정 설정만 적습니다 -플래그와 토큰은 문제별 `secret_env`에 백엔드 저장 이름만 적고, 관리자는 그 문제에 실제 값을 별도로 등록합니다 +관리자 복제 경로는 기존 이미지 digest와 포트·격리 정책을 그대로 사용하고 `env`·`secret_env`만 새 릴리스에 저장합니다 +일반 환경변수에는 공개해도 되는 고정 설정만 적고, 플래그와 토큰은 백엔드에 저장한 비밀값 이름으로 연결합니다 이미지의 Dockerfile 기본값은 릴리스 API의 환경변수 목록에 나타나지 않으므로, 실행에 꼭 필요한 값은 명시적으로 선언해야 합니다 -이번에 `FLAG: flag`를 연결한 문제는 crypto-nerves, crypto-reused-seal, pwn-random6, rev-tinyvm, web-daily-point, web-grade-tampering, web3-infinite-pack입니다 -web-logout-please도 같은 방식으로 이미 선언되어 있습니다 -해당 이미지에서 같은 플래그가 빌드 파일에 남아 있으면 명세 검증이 실패합니다 - 기존 GHCR digest의 이미지는 자동으로 바뀌지 않습니다 -새 소스로 이미지를 발행한 뒤 문제별 비밀값을 백엔드에 저장하고, 새 릴리스를 등록·활성화해야 주입이 적용됩니다 -기존 2.0 릴리스에는 비밀값 연결이 없으므로 그대로 재사용하지 않습니다 +기존 schema 2.0 릴리스도 관리자에서 주입 설정만 복제할 수 있습니다 +다만 이미지에 플래그가 들어 있거나 프로그램이 환경변수 대신 파일에서 값을 읽는다면 주입 설정만으로 플래그 노출을 막거나 실행 동작을 바꿀 수 없습니다 +그 문제는 이미지 내용을 별도로 확인하고, 변경이 필요하면 출제자와 범위를 정해야 합니다 나머지는 이름만 보고 값을 복사하지 않습니다 misc-cashout·misc-reqr·web-afterimage는 인스턴스별 seed/키와 내부 주소를 먼저 정해야 합니다 From df03362f3b22f74a8ce9b35cf524454a709940f7 Mon Sep 17 00:00:00 2001 From: ialleejy Date: Tue, 3 Nov 2026 13:34:55 +0900 Subject: [PATCH 4/4] fix: reconcile PR #19 with current main --- docs/challenge-execution-settings.md | 24 ++++++++++++------------ docs/challenge-registry-integration.md | 2 ++ 2 files changed, 14 insertions(+), 12 deletions(-) diff --git a/docs/challenge-execution-settings.md b/docs/challenge-execution-settings.md index dd959b6..1a744f7 100644 --- a/docs/challenge-execution-settings.md +++ b/docs/challenge-execution-settings.md @@ -1,8 +1,10 @@ # 문제 실행 설정 -새 문제라면 info.yaml에 일반 환경변수와 백엔드 비밀값 이름을 선언할 수 있습니다 -기존 문제 파일을 수정하지 않을 때는 관리자 화면에서 발행된 릴리스를 복제하고 컨테이너별 주입 설정을 새 버전으로 저장합니다 -어느 경로든 백엔드가 해당 문제의 비밀값 버전을 선택합니다 +문제별 기본값은 저장소의 컨테이너별 .env로 관리합니다 +백엔드는 발행본과 같은 커밋의 .env를 읽어 새 배포 버전에 등록합니다 +info.yaml의 env·secret_env는 필요한 항목만 덮어쓰며 선언하지 않은 기본값은 유지합니다 +관리자에서 저장한 플래그와 고정된 비밀값 버전은 새 발행본을 가져와도 유지합니다 +관리자 수정은 새 배포 버전으로 저장하고 기존 인스턴스는 처음 선택한 버전을 유지합니다 실제 값 주입과 NetworkPolicy 적용은 런타임이 맡습니다 | 입력 | 발행 파일 | 실행 때 처리 | @@ -47,8 +49,8 @@ FLAG와 SECRET·TOKEN·PASSWORD·PASSWD·PRIVATE_KEY·API_KEY·CREDENTIAL 이름 ## 적용 순서 1) 백엔드의 비밀값 저장·조회 API와 암호화 키를 준비합니다 -2) 런타임을 백엔드 조회 방식으로 바꾸고 새 스케줄러를 배포합니다 -3) 기존 이미지에는 관리자에서 문제별 비밀값을 저장하고 해당 릴리스를 복제해 새 주입 설정 버전을 만듭니다 +2) .env 기본값과 일부 명시 설정을 합치는 백엔드를 먼저 배포합니다 해당 소비자 수정은 [백엔드 #230](https://github.com/MSG-CTF/msg-backend/pull/230)입니다 +3) 발행본 가져오기에서 컨테이너별 설정과 필수 값 누락을 확인합니다 비밀값이 등록되지 않았거나 저장 종류가 다르면 등록을 거절합니다 4) 새 버전을 확인한 뒤 활성화합니다 기존 인스턴스는 처음 선택한 버전을 유지합니다 5) info.yaml에서 설정을 발행할 때만 문제 저장소 caller의 도구 checkout·두 workflow·두 devsecops_ref를 같은 고정 SHA로 갱신합니다 @@ -56,18 +58,15 @@ FLAG와 SECRET·TOKEN·PASSWORD·PASSWD·PRIVATE_KEY·API_KEY·CREDENTIAL 이름 관리자 복제 경로는 기존 이미지 digest와 포트·격리 정책을 그대로 사용하고 `env`·`secret_env`만 새 릴리스에 저장합니다 일반 환경변수에는 공개해도 되는 고정 설정만 적고, 플래그와 토큰은 백엔드에 저장한 비밀값 이름으로 연결합니다 -이미지의 Dockerfile 기본값은 릴리스 API의 환경변수 목록에 나타나지 않으므로, 실행에 꼭 필요한 값은 명시적으로 선언해야 합니다 +Dockerfile 기본값을 추측해서 복사하지 않습니다 백엔드가 읽는 컨테이너별 .env와 필요한 명시 설정을 기준으로 확인합니다 기존 GHCR digest의 이미지는 자동으로 바뀌지 않습니다 기존 schema 2.0 릴리스도 관리자에서 주입 설정만 복제할 수 있습니다 다만 이미지에 플래그가 들어 있거나 프로그램이 환경변수 대신 파일에서 값을 읽는다면 주입 설정만으로 플래그 노출을 막거나 실행 동작을 바꿀 수 없습니다 그 문제는 이미지 내용을 별도로 확인하고, 변경이 필요하면 출제자와 범위를 정해야 합니다 -나머지는 이름만 보고 값을 복사하지 않습니다 -misc-cashout·misc-reqr·web-afterimage는 인스턴스별 seed/키와 내부 주소를 먼저 정해야 합니다 -web-notebook은 이미지의 DB 초기화 파일에 플래그가 있고 DB 쓰기 경로도 별도 검증이 필요합니다 -web3-split-brain-oracle은 체인 개인키와 signer 설정의 생성·보관 주체를 정해야 합니다 -환경변수 참조가 발견되지 않은 문제도 이미지에 비밀값이 남아 있는지 별도로 확인해야 합니다 +이 문서만으로 개별 문제의 실행 성공을 판정하지 않습니다 +인스턴스별 seed·키, 내부 주소, DB 초기화, 파일에서 읽는 플래그는 해당 이미지와 현재 운영 설정으로 따로 검증합니다 새 env·secret_env가 있으면 artifact schema 2.1로 발행합니다 없으면 기존 schema 2.0 형식을 유지합니다 @@ -77,6 +76,7 @@ web3-split-brain-oracle은 체인 개인키와 signer 설정의 생성·보관 직접 Runtime smoke에는 일반 env만 전달할 수 있습니다 secret_env가 있으면 백엔드 승인 경로가 필요하다는 오류로 중단합니다 CI 토큰에 비밀값 조회 권한을 주거나 참조를 임의로 만들어 보내지 않습니다 +직접 smoke는 백엔드의 .env 병합 경로를 거치지 않으므로 전체 환경변수·플래그 주입 검증을 대신하지 않습니다 ## 검수표 @@ -96,7 +96,7 @@ raw NetworkPolicy·internal_connections·외부 통신 예외는 입력받지 Compose 서비스명이 Runtime Service 이름과 같은지도 확인해야 합니다 command·volumes·임의 네트워크 설정은 계속 미지원입니다 -AFTERIMAGE의 인스턴스별 비밀값 생성과 Notebook의 DB 경로 문제는 별도 작업이며 기존 이미지 차단을 해제하지 않습니다 +이 계약 변경만으로 운영 승인 목록의 이미지 차단을 해제하지 않습니다 기존 37개 문제의 설정 후보는 [점검표](reports/2026-10-02-execution-settings/execution-settings.md)에 있습니다 이 목록은 실행 성공 판정이 아니며 출제자가 필수 값·주소·reset 동작을 확인해야 합니다 diff --git a/docs/challenge-registry-integration.md b/docs/challenge-registry-integration.md index 8df84ba..928c4c5 100644 --- a/docs/challenge-registry-integration.md +++ b/docs/challenge-registry-integration.md @@ -5,6 +5,8 @@ env·secret_env가 있으면 schema 2.1로 발행하며 기존 설정은 2.0을 유지합니다 백엔드는 문제별 비밀값 이름을 불변 버전으로 고정하고 런타임 조회용 UUID를 발급합니다 CI는 비밀값 원문을 발행하지 않습니다 +백엔드는 같은 커밋의 컨테이너별 .env 기본값에 발행본의 명시 설정을 합칩니다 +일부 env만 선언해도 나머지 필수 비밀값이 빠지지 않아야 하며 소비자 배포를 먼저 확인합니다 계약과 검수표: [문제 실행 설정](challenge-execution-settings.md) ## 검증 범위