Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 8 additions & 0 deletions .github/workflows/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,6 +5,14 @@ workflow를 관리합니다.

## 파일

### `published-runtime-smoke.yml`

성공한 main 발행본을 선택하는 별도 수동 caller용 reusable workflow입니다.
선택한 실행·artifact·bundle의 출처를 검증한 뒤 승인된 단일 WEB 문제의 Runtime
생성·삭제를 시험합니다. 이미지 재발행이나 Backend 등록은 하지 않으며, 시험이
실패해도 원래 발행 실행의 상태에는 영향을 주지 않습니다.
[실행 조건과 검증 범위](../../docs/published-runtime-smoke.md)를 확인합니다.

### `ghcr-cleanup-dry-run.yml`

수동 실행하는 GHCR 이미지 정리 후보 조회입니다. package 읽기 권한만 사용하고
Expand Down
2 changes: 2 additions & 0 deletions .github/workflows/pipeline-self-test.yml
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,7 @@ on:
paths:
- ".github/workflows/challenge-branch-validation.yml"
- ".github/workflows/challenge-supply-chain.yml"
- ".github/workflows/published-runtime-smoke.yml"
- ".github/workflows/pipeline-self-test.yml"
- ".github/workflows/ghcr-cleanup-dry-run.yml"
- "ci/**"
Expand All @@ -16,6 +17,7 @@ on:
paths:
- ".github/workflows/challenge-branch-validation.yml"
- ".github/workflows/challenge-supply-chain.yml"
- ".github/workflows/published-runtime-smoke.yml"
- ".github/workflows/pipeline-self-test.yml"
- ".github/workflows/ghcr-cleanup-dry-run.yml"
- "ci/**"
Expand Down
160 changes: 160 additions & 0 deletions .github/workflows/published-runtime-smoke.yml
Original file line number Diff line number Diff line change
@@ -0,0 +1,160 @@
name: 발행 bundle 독립 Runtime 검증

on:
workflow_call:
inputs:
source_run_id:
description: 성공한 main 출제 문제 검증 run ID
required: true
type: string
challenge_slug:
description: Runtime 정책에서 승인한 단일 WEB 문제 slug
required: true
type: string
confirm_deploy:
description: 승인한 CI 대상에 임시 생성·삭제를 실행할지 확인
required: false
default: false
type: boolean
devsecops_ref:
description: 검토한 공급망 도구 commit SHA
required: true
type: string
runtime_api_url:
required: true
type: string
runtime_ci_team_id:
required: true
type: string
runtime_target_id:
required: true
type: string
secrets:
RUNTIME_API_TOKEN:
required: true

permissions:
contents: read
actions: read

jobs:
smoke:
runs-on: ubuntu-latest
timeout-minutes: 20
steps:
- name: 수동 main 실행과 승인 확인
env:
CONFIRM_DEPLOY: ${{ inputs.confirm_deploy }}
SOURCE_RUN_ID: ${{ inputs.source_run_id }}
CHALLENGE_SLUG: ${{ inputs.challenge_slug }}
DEVSECOPS_REF: ${{ inputs.devsecops_ref }}
run: |
set -euo pipefail
test "$GITHUB_EVENT_NAME" = workflow_dispatch || { echo "Runtime 시험은 수동 실행만 허용합니다" >&2; exit 1; }
test "$GITHUB_REF" = refs/heads/main || { echo "Runtime 시험은 main 실행만 허용합니다" >&2; exit 1; }
test "$CONFIRM_DEPLOY" = true || { echo "임시 생성·삭제 승인 확인이 필요합니다" >&2; exit 1; }
[[ "$SOURCE_RUN_ID" =~ ^[1-9][0-9]{0,18}$ ]] || { echo "run ID 형식을 확인하세요" >&2; exit 1; }
[[ "$CHALLENGE_SLUG" =~ ^[a-z0-9][a-z0-9-]{0,62}$ ]] || { echo "문제 slug 형식을 확인하세요" >&2; exit 1; }
[[ "$DEVSECOPS_REF" =~ ^[0-9a-f]{40}$ ]] || { echo "검토한 도구 SHA가 필요합니다" >&2; exit 1; }

- name: 검토한 Runtime 도구 가져오기
uses: actions/checkout@v4
with:
repository: MSG-CTF/msgctf-devsecops
ref: ${{ inputs.devsecops_ref }}
path: .msgctf-ci
persist-credentials: false

- name: Python 설정
uses: actions/setup-python@v5
with:
python-version: "3.12"

- name: 성공한 발행 실행과 전체 artifact 목록 조회
env:
GH_TOKEN: ${{ github.token }}
SOURCE_RUN_ID: ${{ inputs.source_run_id }}
run: |
set -euo pipefail
mkdir -p evidence
gh api "repos/${GITHUB_REPOSITORY}/actions/runs/${SOURCE_RUN_ID}" > evidence/run.json
gh api --paginate --slurp "repos/${GITHUB_REPOSITORY}/actions/runs/${SOURCE_RUN_ID}/artifacts?per_page=100" > evidence/pages.json

- name: 발행 출처와 bundle 선택 검증
id: source
env:
SOURCE_RUN_ID: ${{ inputs.source_run_id }}
CHALLENGE_SLUG: ${{ inputs.challenge_slug }}
run: |
python3 .msgctf-ci/scripts/validate_runtime_smoke_source.py select \
--run evidence/run.json --pages evidence/pages.json \
--repository "$GITHUB_REPOSITORY" --run-id "$SOURCE_RUN_ID" \
--challenge-slug "$CHALLENGE_SLUG" \
--output evidence/selection.json --github-output "$GITHUB_OUTPUT"

- name: 검증한 발행 bundle만 가져오기
uses: actions/download-artifact@v4
with:
artifact-ids: ${{ steps.source.outputs.artifact_id }}
run-id: ${{ inputs.source_run_id }}
repository: ${{ github.repository }}
github-token: ${{ github.token }}
merge-multiple: true
path: dist/publish-bundle

- name: CI 전용 대상과 bundle 계약 확인
env:
RUNTIME_API_URL: ${{ inputs.runtime_api_url }}
RUNTIME_CI_TEAM_ID: ${{ inputs.runtime_ci_team_id }}
RUNTIME_TARGET_ID: ${{ inputs.runtime_target_id }}
SMOKE_KEY: ${{ github.repository_id }}:${{ github.run_id }}:${{ github.run_attempt }}
run: |
set -euo pipefail
case "$RUNTIME_API_URL" in https://*) ;; *) echo "Runtime HTTPS URL이 필요합니다" >&2; exit 1 ;; esac
test -n "$RUNTIME_CI_TEAM_ID" || { echo "CI 전용 team ID가 필요합니다" >&2; exit 1; }
test -n "$RUNTIME_TARGET_ID" || { echo "target ID가 필요합니다" >&2; exit 1; }
instance_id="$(python3 -c 'import os, uuid; print(uuid.uuid5(uuid.NAMESPACE_URL, os.environ["SMOKE_KEY"]))')"
jq -n --arg team_id "$RUNTIME_CI_TEAM_ID" --arg target_id "$RUNTIME_TARGET_ID" --arg instance_id "$instance_id" \
'{team_id:$team_id,target_id:$target_id,instance_id:$instance_id}' > evidence/runtime-config.json
python3 .msgctf-ci/scripts/validate_runtime_smoke_source.py verify \
--artifact dist/publish-bundle/artifact-v2.json \
--selection evidence/selection.json --config evidence/runtime-config.json

- name: 독립 Runtime HTTPS 생성·삭제 검증
env:
RUNTIME_API_URL: ${{ inputs.runtime_api_url }}
RUNTIME_API_TOKEN: ${{ secrets.RUNTIME_API_TOKEN }}
run: |
set -euo pipefail
test -n "$RUNTIME_API_TOKEN" || { echo "RUNTIME_API_TOKEN Secret이 필요합니다" >&2; exit 1; }
umask 077
token_file="$(mktemp)"
trap 'rm -f "$token_file"' EXIT INT TERM
printf '%s' "$RUNTIME_API_TOKEN" > "$token_file"
python3 .msgctf-ci/scripts/runtime_api_smoke_runner.py \
--artifact dist/publish-bundle/artifact-v2.json \
--config evidence/runtime-config.json --api-url "$RUNTIME_API_URL" \
--token-file "$token_file" --timeout 300 --cleanup-timeout 300 \
| tee evidence/runtime-smoke-result.txt
result="$(sed -n 's/^MSGCTF_RUNTIME_SMOKE_RESULT=//p' evidence/runtime-smoke-result.txt | tail -n 1)"
test -n "$result"
printf '%s\n' "$result" | jq -e '.create_status == "SUCCEEDED" and .delete_status == "SUCCEEDED"' >/dev/null
{
echo "## 발행본 독립 Runtime 검증"
echo '출처·결과는 아래 증거에 기록하며 Backend 등록·활성화는 수행하지 않습니다.'
echo '```json'
cat evidence/selection.json
printf '%s\n' "$result" | jq
echo '```'
} >> "$GITHUB_STEP_SUMMARY"

- name: 출처와 Runtime 시험 결과 보관
if: always()
uses: actions/upload-artifact@v4
with:
name: runtime-verification-${{ github.run_id }}-${{ github.run_attempt }}
path: |
evidence/selection.json
evidence/runtime-smoke-result.txt
if-no-files-found: warn
retention-days: 14
1 change: 1 addition & 0 deletions docs/README.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,6 @@
# 문서

- [발행본 독립 Runtime 검증](published-runtime-smoke.md): 성공한 main 발행본의 출처 검증과 발행 실행에 영향을 주지 않는 단일 WEB 생성·삭제 시험
- [2026-10-21 Backend 개발 서버 전달 자료](reports/2026-10-21-backend-handoff/README.md): 최신 37개 발행 대조와 문제별 revision·run·artifact, 배포 성공 기록 및 서버 확인 요청
- [2026-10-20 최신 발행 대조](reports/2026-10-20-release-readiness/README.md): 37개 문제 폴더와 성공 산출물 일치, 실패한 Runtime 시험과 수집 계약 구분
- [2026-10-19 병합 후 연동 점검](reports/2026-10-19-release-readiness/README.md): 실제 main 산출물 대조, Notebook revision 529·정책 확인과 남은 배포 검증
Expand Down
91 changes: 91 additions & 0 deletions docs/published-runtime-smoke.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,91 @@
# 발행본 독립 Runtime 검증

## 목적과 책임

문제 발행과 실제 서버 시험을 서로 다른 GitHub Actions 실행으로 나눕니다.
이미지 검사·GHCR 발행·bundle 생성이 성공했다면 Backend Poller는 해당 성공 실행의
산출물을 수집할 수 있습니다. 이후 별도 Runtime 시험이 실패하더라도 원래 발행
실행의 성공 여부는 바뀌지 않습니다. Runtime 시험 자체의 실패는 그대로 실패로
기록하며 `continue-on-error`로 감추지 않습니다.

Backend의 `completed`·`success` 실행만 수집하는 기준은 유지합니다. 기존 실패 실행에
이미 bundle이 있더라도 수집 대상으로 억지로 인정하지 않습니다.

## 지원 범위

- 이미 완료·성공한 문제 저장소 `main` 발행 실행을 수동으로 선택합니다.
- Runtime 운영자가 정확한 GHCR digest를 승인한 일반 WEB 문제만 시험합니다.
- 첫 경로는 단일 컨테이너, `KUBERNETES`, `AMD64`, `WEB`으로 제한합니다.
- 기존 Runtime API 요청 변환기와 HTTPS·인증서 검사, 응답 검사, 삭제 확인을 재사용합니다.
- 새 이미지 빌드·push, Backend API 호출, release 활성화는 하지 않습니다.
- KOTH, PWN, 멀티 컨테이너, 전용 VM 및 Windows 배포를 자동 지원하지 않습니다.

Afterimage의 전용 VM 배포는 Runtime·Scheduler·Broker가 연결한 별도 경로입니다.
이 단일 WEB smoke의 성공을 해당 경로 또는 전체 격리 검증의 성공으로 기록하지 않습니다.

## 실행 계약

문제 저장소의 별도 수동 caller가 다음 reusable workflow를 호출합니다.

`.github/workflows/published-runtime-smoke.yml`

| 입력 | 설명 |
| --- | --- |
| `source_run_id` | 성공한 `challenge-validation.yml` 실행 ID |
| `challenge_slug` | 해당 실행에서 발행한 승인 WEB 문제 |
| `confirm_deploy` | 임시 생성·삭제를 명시적으로 승인, 기본 `false` |
| `devsecops_ref` | 검토한 DevSecOps 도구의 전체 commit SHA |
| `runtime_api_url` | 인증서가 유효한 Runtime HTTPS API 주소 |
| `runtime_ci_team_id` | 서버 측 제한 토큰에 허용된 CI 전용 팀 UUID |
| `runtime_target_id` | 서버 측 제한 토큰에 허용된 현재 target |

Secret은 `RUNTIME_API_TOKEN`만 사용합니다. GHCR pull 인증은 Runtime 노드가 관리하며
API 토큰과 혼용하지 않습니다. 토큰은 로그·산출물에 저장하지 않고, 임시 파일은
접근 권한을 제한해 사용 후 삭제합니다.

실제 시험 전 Runtime팀과 현재 배포 SHA, 정확한 이미지 digest·UID·쓰기 경로·포트
승인, 제한된 CI 토큰, target 사용 가능 여부 및 이전 잔여 리소스를 확인해야 합니다.
선택한 bundle의 자원 요구량도 해당 target에 승인된 범위인지 확인합니다.

## 출처 검증과 흐름

1. 수동 실행이며 caller의 실행 ref가 `refs/heads/main`인지 확인합니다.
2. 선택한 원본 실행이 같은 저장소의 공식 `challenge-validation.yml`, `main`,
`push` 또는 `workflow_dispatch`, 완료·성공 상태인지 확인합니다.
3. artifact 전체 페이지를 조회하고 현재 run attempt의 문제별 publish bundle이
정확히 하나인지 확인합니다. 만료되거나 16 MiB를 초과하는 압축본은 거절합니다.
4. 검증한 artifact ID만 다운로드합니다. 다른 문제·이전 시도의 산출물을 섞지 않습니다.
5. `artifact-v2.json`의 source SHA, main ref, slug, revision과 원본 실행의 출처가
일치하는지 확인합니다. `PASS`, GHCR digest, 자원·포트·healthcheck 계약도 검사합니다.
6. CI 실행·재시도별 instance UUID를 만들어 기존 Runtime runner로 생성·조회·삭제합니다.
생성 실패나 응답 오류가 나도 기존 runner의 삭제 확인 절차를 유지합니다.
7. 별도 실행에 출처 목록과 정제된 생성·삭제 결과를 보관합니다.

caller는 같은 CI target을 쓰는 smoke를 직렬 실행하고 `cancel-in-progress: false`로
설정해야 합니다. 자동 취소로 삭제 절차를 끊지 않도록 합니다. 수동 강제 취소나
러너 종료까지 정리를 보장하는 것은 아니므로 이 경우 Runtime 리소스를 별도 확인합니다.

## 실패 job만 재실행한 발행본의 제한

`Re-run failed jobs`로 원본 발행 run이 최종 성공했더라도, publish job을 재실행하지
않았다면 bundle 이름에는 이전 attempt 번호가 남을 수 있습니다. 이 workflow는
원본 run의 현재 `run_attempt`와 artifact 이름의 attempt가 같은 경우만 선택하므로,
이전 attempt의 bundle만 남아 있으면 다운로드·Runtime 호출 전에 거절합니다.

이전 attempt를 자동으로 대신 선택하지 않습니다. 같은 승인 소스의 다른 성공 run을
사용하거나, 문제 저장소 main의 수동 발행에서 해당 문제 하나를 새로 발행한 뒤
새 성공 run ID를 선택합니다. 새 발행은 비용과 revision 증가가 있으므로 운영 승인에
따라 진행하며, 이 제한을 해소하려고 실패 실행을 성공으로 표시하지 않습니다.

## 결과 해석

발행 run ID, artifact ID·이름, SHA, slug, revision을 `selection.json`에 남기고
정제된 Runtime 결과와 함께 14일 보관합니다. 원본 bundle과 token 파일은 재업로드하지 않습니다.

성공은 기존 runner가 확인한 Runtime 생성 성공, endpoint 응답 계약과 삭제 완료를 뜻합니다.
실제 공개 URL의 HTTP 응답, 노드의 cold pull 시간·실행 digest, 다른 인스턴스와의 격리,
reset, 정상·실패 probe 및 운영 부하는 별도 연동 시험으로 확인해야 합니다.

이 workflow의 단위 테스트 통과만으로 실제 배포 성공을 선언하지 않습니다.
중앙 reusable workflow를 병합한 뒤 caller의 workflow SHA와 `devsecops_ref`를 같은
병합 SHA로 갱신하고, 승인한 단일 WEB 발행본으로 최초 실제 실행을 진행합니다.
7 changes: 7 additions & 0 deletions scripts/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,6 +9,13 @@ Provisioner API 요청으로 변환합니다. 생성 Operation을 조회한 뒤

## 파일

### `validate_runtime_smoke_source.py`

독립 Runtime 시험에서 성공한 main 발행 run과 전체 artifact 페이지를 대조합니다.
문제·시도별 bundle 하나만 선택하고 source SHA·revision·GHCR digest를 검증합니다.
단일 WEB·KUBERNETES·AMD64 범위에서 기존 요청 변환기를 재사용하며 Runtime은 호출하지 않습니다.
[독립 시험 운영 절차](../docs/published-runtime-smoke.md)를 참고합니다.

### `audit_publication_state.py`

GitHub CLI의 기존 인증으로 문제 저장소 main의 37개 문제 명세와 실행별 artifact
Expand Down
Loading
Loading