Skip to content

Add opt-in GCP Runtime HTTPS smoke after challenge publish - #16

Merged
wlsdnd2367 merged 5 commits into
MSG-CTF:mainfrom
goldsimchoi:feat/gcp-runtime-https-smoke
Oct 7, 2026
Merged

wlsdnd2367 merged 5 commits into
MSG-CTF:mainfrom
goldsimchoi:feat/gcp-runtime-https-smoke

Conversation

@goldsimchoi

@goldsimchoi goldsimchoi commented Oct 6, 2026 •

Copy link
Copy Markdown
Contributor

작업 내용

  • 이미지 발행 후 GitHub 호스팅 runner가 GCP Runtime HTTPS API를 호출하는 선택형 smoke job을 추가합니다.
  • 기존 AWS SSM job과 입력은 유지하며 새 job은 기본 비활성 상태입니다.
  • caller의 CI 전용 RUNTIME_API_TOKEN을 임시 파일로 전달하고, 인증서 검증을 켠 기존 runner로 생성·삭제 Operation 성공을 확인합니다.
  • README와 검증 문서에서 Operation 성공, 실제 문제 접속, K3s 리소스 직접 확인의 범위를 구분했습니다. 이번 문서 보완에서는 실행 코드를 변경하지 않았습니다.

자동 검증 범위

  • HTTPS 인증서 검증 및 인증된 Runtime API 요청.
  • 생성 Operation SUCCEEDED, workload 식별자와 endpoint 형식·공개 포트 계약 확인.
  • 삭제 Operation SUCCEEDED 확인.
  • 토큰 임시 파일 정리와 기존 AWS 경로 유지.

반환된 URL에 HTTP 요청을 보내는 검사, 문제별 healthcheck, 실행 digest 대조, K3s Namespace·Pod·Service 직접 조회는 현재 자동 job에 포함하지 않습니다. 삭제 Operation 성공만으로 잔존 리소스가 없다고 기록하지 않습니다.

확인한 시험과 증거

  • 2026-10-07 문서 보완 후 python3 -m unittest discover -s tests 전체 176개 통과, git diff --check 통과. 이 재검증에서는 실제 Runtime 배포 요청을 보내지 않았습니다.
  • 문서 보완 커밋 ffb6687의 GitHub Actions CI 성공: 전체 단위 테스트와 샘플 branch build·scan을 확인했습니다. 이미지 발행 및 실제 Runtime 배포 job은 실행하지 않았습니다.
  • 기존 작성자 기록: 로컬 workflow·runner·HTTPS 전송 테스트 48개 통과.
  • PR 작성자의 사전 실측: 승인된 기존 Grade Tampering digest로 공개 HTTPS 경로의 생성·삭제 성공. 작성자가 별도로 확인한 Namespace 제거 기록은 Actions 자동 검증과 구분합니다.
  • GitHub 호스팅 runner 수동 시험 성공: 승인된 기존 digest와 수동 workflow가 만든 시험용 bundle로 생성·삭제 Operation 성공을 확인했습니다. 새 자동 publish job의 실행이나 최신 실제 publish bundle의 연동 결과는 아닙니다.
  • 수동 시험의 scan_result: PASS와 revision은 테스트 입력입니다. 이 실행에서 실제 문제 빌드·보안 검사·GHCR 발행·Backend 릴리스 등록을 다시 수행한 것은 아닙니다.
  • 작성자 환경의 Windows 전체 테스트에는 UTF-8 기본 인코딩·심볼릭 링크 권한 관련 실패가 보고됐습니다. GitHub Linux CI의 전체 테스트 결과와 구분합니다.

적용 순서와 남은 작업

  1. 리뷰 승인 후 병합하고 문제 저장소 caller의 workflow 참조와 devsecops_ref를 같은 병합 SHA로 갱신합니다.
  2. CI 전용 토큰과 team·target 설정, 실제 배포 SHA, 발행할 정확한 digest의 Runtime 정책 승인을 확인합니다. 전체 권한 토큰을 최소 권한 토큰으로 취급하지 않습니다.
  3. 승인된 최신 digest가 들어 있는 실제 publish bundle로 새 자동 job을 검증한 뒤 선택적으로 활성화합니다.
  4. 공개 문제 URL 응답, 실행 digest, K3s 리소스 정리를 별도 확인합니다. Scheduler reset, Backend Poller 등록, 전체 인스턴스 E2E와 운영 격리는 별도 검증 범위입니다.

새 digest는 자동 승인하지 않습니다. HTTPS smoke가 실패하면 전체 workflow도 실패하고 Backend Poller의 성공 실행 수집 조건을 만족하지 않으므로, 미승인 상태에서는 ENABLE_RUNTIME_HTTPS_SMOKE를 켜지 않습니다. 오류 발생 시 비활성화할 수 있도록 기존 AWS 경로와 플래그는 유지합니다.

2026-10-07 리뷰 보완

  • runtime_ci_team_id와 runtime_target_id 필수값 검사를 각각 독립된 실패 처리로 분리했습니다.
  • 팀 ID만 누락, target ID만 누락, 둘 다 누락, 정상 입력의 셸 실행 4종을 회귀 테스트로 추가했습니다. 누락 시 설정 파일 생성 전에 실패하는 것을 확인했습니다.
  • 74db7e5c19488b8a6b69f9ace3e3de4ae007a126 기준 로컬 전체 테스트 177개 및 diff 검사를 통과했습니다.
  • 보완 커밋 GitHub CI가 성공했습니다. 기본 비활성 상태로 병합했습니다.
  • HTTPS smoke의 기본값 false와 기존 AWS 경로는 변경하지 않았으며 실제 Runtime 요청이나 전체 문제 활성화는 수행하지 않았습니다.
  • 별도의 기존 수동 Grade smoke 37562649497는 API 연결 시간 초과로 실패했습니다. 접속 복구·잔여 리소스 확인을 Runtime #45에 요청했으며, 과거 성공 기록을 현재 배포 성공으로 간주하지 않습니다.

활성화 조건: Runtime 접속 복구와 현재 배포·정책 SHA 확인 → 제한된 CI 토큰 배포·권한 확인 → caller workflow 참조와 devsecops_ref를 같은 병합 SHA로 갱신 → 승인된 단일 WEB의 실제 발행 bundle 시험. HTTPS 실패 시 Backend Poller 수집도 막히므로 전체 문제에는 바로 켜지 않습니다.

병합 SHA: cd47cb5c738ab612dae57e385368f279d26054aa. 문제 저장소 caller는 아직 이 SHA로 갱신하지 않았으며 별도 적용·검증이 필요합니다.

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

확인했습니다 HTTPS 검사를 기본 비활성으로 둔 상태에서는 머지하셔도 될 것 같습니다

관련 테스트 48개와 추가 셸 검증 8개 통과했고, 같은 커밋의 CI도 통과한 것 확인했습니다

팀 ID와 target ID 필수값 검사는 각각 나눠주세요 지금은 팀 ID가 비어도 설정 단계가 성공합니다 다음 단계에서 실제 생성 전에 거절되니 머지 차단 사유는 아닙니다

활성화는 제한된 CI 토큰 배포와 호출부 SHA를 맞추고, 실제 발행 bundle로 검증한 뒤 진행해주세요 HTTPS 검사 실패 시 백엔드 poller의 bundle 수집도 막히는 구조라 전체 문제에 바로 켜지 말고 승인된 단일 WEB 문제부터 확인해주세요

@wlsdnd2367

Copy link
Copy Markdown
Collaborator

대기 중 연동 사전 확인을 진행했습니다. #17 에 실제 artifact의 Backend 로컬 소비 시험, 최신 발행 digest와 기존 Runtime 승인 정책 차이, GHCR 조회 결과를 기록했습니다. 기존 main 수동 Grade smoke https://github.com/MSG-CTF/2026_MSG_CTF/actions/runs/37562649497 는 2026-10-07 API 연결 시간 초과로 실패했으며 생성·삭제 결과와 잔여 리소스는 확인하지 못했습니다. 이 실행은 #16의 실제 bundle 자동 smoke 검증이 아닙니다. Runtime #45에 접속 복구·잔여 리소스 확인·새 digest 정책 승인 요청을 남겼습니다: MSG-CTF/secure-provisioner#45 (comment) . 서버·정책 준비 전 자동 smoke를 활성화하지 않겠습니다.

@wlsdnd2367
wlsdnd2367 merged commit cd47cb5 into MSG-CTF:main Oct 7, 2026
7 checks passed
@wlsdnd2367

Copy link
Copy Markdown
Collaborator

리뷰 요청대로 팀 ID와 target ID 검사를 독립된 실패 처리로 보완했습니다. 누락 3종과 정상 1종 셸 회귀 검사, 로컬 전체 테스트 177개, 최신 PR CI https://github.com/MSG-CTF/msgctf-devsecops/actions/runs/37568932685 가 통과해 기본 비활성 상태로 병합했습니다. 병합 SHA는 cd47cb5 입니다. main 후속 CI https://github.com/MSG-CTF/msgctf-devsecops/actions/runs/37569199045 를 확인 중입니다. caller SHA 갱신이나 smoke 활성화는 아직 하지 않았습니다. Runtime 접속 복구·제한된 CI 토큰 권한·새 digest 정책 승인과 실제 발행 bundle의 단일 WEB 시험 후 활성화하겠습니다. 전체 문제에는 바로 켜지 않습니다.

@wlsdnd2367

Copy link
Copy Markdown
Collaborator

병합 후 최종 main CI도 성공했습니다. 병합 커밋: cd47cb5. 결과: https://github.com/MSG-CTF/msgctf-devsecops/actions/runs/37569199045 . 전체 단위 테스트 177개가 통과했습니다. HTTPS smoke는 기본 비활성 상태를 유지했으며, 실제 GCP Runtime 생성·접속·삭제 검증은 이번 CI 결과에 포함되지 않습니다. 호출부 SHA 동기화, 제한된 CI 토큰 배포, 승인된 단일 WEB의 실제 publish bundle 검증 후 활성화를 진행하겠습니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants