Skip to content

fix: preserve Gateway v1 endpoint connection metadata - #148

Merged
gimgyumin0207 merged 2 commits into
MSG-CTF:mainfrom
goldsimchoi:feature/gateway-v1-endpoint-metadata
Oct 26, 2026
Merged

gimgyumin0207 merged 2 commits into
MSG-CTF:mainfrom
goldsimchoi:feature/gateway-v1-endpoint-metadata

Conversation

@goldsimchoi

@goldsimchoi goldsimchoi commented Oct 23, 2026 •

Copy link
Copy Markdown
Contributor

Scheduler endpoint 정규화가 기존 네 필드만 재구성하면서 Gateway 연결에 필요한 hostname, connection_port, tls, server_name을 버리고 있었습니다. 네 선택 필드를 엄격한 타입/포트 범위 검증 후 기존 Instance/DeploymentTest JSONField와 참가자·관리자 응답에 전달합니다. 누락, 명시적 null, tls=false는 그대로 구분하며 기본값을 합성하지 않습니다.

기존 port는 컨테이너 내부 포트로 유지하고 공개 연결 포트는 connection_port로 별도 전달합니다. Gateway v1의 보조 컨테이너 + 공개 endpoint 한 개 + NodePort 설계를 따르며 기존 endpoint 배열이나 Scheduler 호출 버전은 바꾸지 않습니다. DB migration, 운영 설정/토큰/서비스, Frontend 코드는 변경하지 않습니다. 실제 Runtime→Gateway 등록/TLS/SNI 연결 검증과 클라이언트 표시·접속 명령은 별도 후속 범위입니다.

Validation:

  • Gateway endpoint 회귀 테스트 8개 통과: HTTP/TCP, missing/null/false, 잘못된 타입·포트, 참가자 생성·갱신/관리자 테스트의 PostgreSQL 저장과 직렬화
  • 최신 main ea1f02ce6c1042c690f454aca5b65a4e183a540f와 충돌 없이 통합한 head d263bb448710ff990997a1bcec449b53fc3fa2af 검증
  • python manage.py test apps --settings=backend_gateway_test_settings --noinput -v 1: 1,395개 전체 통과(171.212s), CPython 3.12.14 + 분리된 PostgreSQL 16.15/Redis 7.2.16 테스트 환경. 테스트 설정은 저장소 밖 로컬 .scratch에 있으며 fixture 비밀번호 해시만 MD5로 단축하고 운영 설정은 변경하지 않음
  • Linux/WSL python3 -m unittest discover -s deploy -p 'test_*.py' -v: 배포 helper/installer 테스트 20개 통과, skip 없음
  • Django check, migration drift 검사, git diff --check 통과
  • 부모 작업의 최신 통합 head 독립 코드·테스트·문서 검토 완료
  • 현재 head d263bb448710ff990997a1bcec449b53fc3fa2af의 Backend CI 실행 SUCCESS: lint-and-test, security/Trivy, SAST/Semgrep, Docker build, deployment-tests 모두 통과. 운영 배포·GCS 검증 작업은 PR 조건에 따라 skipped

Closes #147

Related: Runtime 설계 #74, Runtime 구현 PR #75 (추적 #73), Scheduler 전달 #77. Frontend TLS/SNI 표시·연결 후속 요구는 #147 및 docs/gateway-v1-endpoint-metadata.md에 기록했으며 소비자 수정은 별도 Frontend #201에서 처리했습니다. 이미지 사전 다운로드 #139와 분리된 작업입니다.

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

최신 main과 합쳐 실제 PostgreSQL·Redis로 1,292개 테스트를 다시 돌렸고 모두 통과했습니다
잘못된 접속 정보가 와도 기존 값은 유지되고, 재시도 시 중복 저장 없이 복구되는 것까지 확인했습니다

백엔드 쪽에서 추가 수정이 필요한 문제는 못 찾았습니다
실제 Gateway TLS·SNI 접속과 경로 정리·복구는 런타임 #75·스케줄러 #77을 함께 붙여 확인이 필요합니다

@goldsimchoi

Copy link
Copy Markdown
Contributor Author

운영 도메인 반환 전환 요청

Runtime의 Gateway 주소 반환 코드는 Runtime #75, #81로 운영 배포했고, 프론트의 TLS/SNI 표시도 Frontend #201로 운영 배포했습니다. 현재 target은 Gateway OFF이며, Scheduler의 안전한 정리 처리 배포와 실행 노드 접근 확인 후 운영 도메인 반환으로 전환하려고 합니다.

이 PR의 최신 main 통합본 d263bb448710ff990997a1bcec449b53fc3fa2af은 앱 테스트 1,395개와 Linux 배포 테스트 20개를 통과했고 최신 CI도 성공했습니다.

다음 처리를 요청드립니다.

  • 이 PR을 머지·배포하고 배포 revision과 상태를 공유해 주세요.
  • Scheduler가 전달한 Gateway service_url 전체 URL을 기존 host와 endpoints[].service_url에 저장·반환해 주세요. 인스턴스 IP를 공통 도메인으로 치환하거나 NodePort를 다시 붙이는 처리는 필요하지 않습니다.
  • 선택 필드 hostname, connection_port, tls, server_name을 끝까지 보존해 주세요. 내부 port는 유지하고 외부 접속에는 connection_port=443을 사용합니다.
  • 배포 후 참가자·관리자 화면에서 웹 HTTPS 링크와 TCP TLS/SNI 접속 정보가 유지되는지 함께 확인해 주세요.

웹 주소는 https://<instance>.gate.msgctf.kr, TCP 주소는 tls://<instance>.gate.msgctf.kr:443입니다. 도메인은 Runtime의 Gateway 경로 등록 성공 후 발급됩니다. 기존 Backend도 현재 v1의 URL 문자열 자체는 보존하지만, 추가 네 필드를 누락하므로 이 PR이 TLS/SNI 자동 안내를 완성합니다.

Scheduler 연계는 #82입니다. 기존 인스턴스 주소를 검증 없이 일괄 수정하지 않고, 전환 후 새 생성 및 별도 확인한 재생성 결과로 검증할 예정입니다. 토큰 원문 전달은 필요하지 않습니다.

@jongcoding jongcoding left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

현재 검토 범위에서 추가 수정 요청은 없습니다

d263bb4 기준으로 이전 리뷰 이후 변경을 정적 대조하고, 실제 PostgreSQL 16·Redis를 사용하는 Gateway endpoint 집중 테스트 8개를 새로 실행해 모두 통과했습니다

내부 port와 공개 connection_port의 구분, hostname·tls·server_name 보존, 선택 필드의 누락·null·false, 잘못된 타입과 포트 범위, 참가자·관리자 응답의 저장 및 직렬화를 확인했습니다

Scheduler #80의 복구 가능한 FAILED 상태를 관리자 배포시험이 계속 추적하지 못하는 별도 통합 문제는 해당 PR의 상태 전이 리뷰에 연결했습니다

증거 등급은 E2이며 Scheduler 경계 응답은 테스트 대역입니다 실제 Gateway 등록과 TLS/SNI 연결, 공동 배포 복구는 검증하지 않았습니다

@gimgyumin0207
gimgyumin0207 merged commit 0b841e8 into MSG-CTF:main Oct 26, 2026
10 checks passed
@goldsimchoi

goldsimchoi commented Oct 26, 2026 •

Copy link
Copy Markdown
Contributor Author

Runtime에서 발급한 실제 Gateway 도메인을 머지된 Scheduler #80 기준으로 검증했고, Backend #148 수신 계약까지 확인했습니다. #148도 main에 머지·운영 배포됐습니다.

실제 Runtime 응답에서 얻은 endpoint 예시입니다. 아래 주소는 시험 후 삭제됐으므로 활성 접속 주소로 안내하지 마세요.

{
  "container_name": "web",
  "port": 8080,
  "protocol": "HTTP",
  "service_url": "https://8808018d8fc74c9283640e44fbd8a57f.gate.msgctf.kr",
  "hostname": "8808018d8fc74c9283640e44fbd8a57f.gate.msgctf.kr",
  "connection_port": 443,
  "tls": true,
  "server_name": "8808018d8fc74c9283640e44fbd8a57f.gate.msgctf.kr"
}
{
  "container_name": "tinyvm",
  "port": 1337,
  "protocol": "TCP",
  "service_url": "tls://873554eb677ce7769bb1f24a6ce76d18.gate.msgctf.kr:443",
  "hostname": "873554eb677ce7769bb1f24a6ce76d18.gate.msgctf.kr",
  "connection_port": 443,
  "tls": true,
  "server_name": "873554eb677ce7769bb1f24a6ce76d18.gate.msgctf.kr"
}

Backend에서는 service_url 전체를 기존 host/endpoint에 그대로 보존하고, hostname, connection_port, tls, server_name도 받은 값대로 전달하면 됩니다. 내부 port=8080/1337은 외부 접속 포트가 아닙니다. 공개 접속은 443이며 TCP는 위 server_name을 SNI로 지정한 TLS 클라이언트를 사용합니다. Frontend #201의 TLS/SNI 표시도 배포돼 있습니다. Gateway용 Backend 신규 토큰은 필요 없고, 기존 SCHEDULER_BASE_URL/SCHEDULER_API_TOKEN 설정을 유지합니다. 토큰 원문을 댓글로 전달할 필요가 없습니다.

실제 시험 결과와 코드 수신 검증 범위를 구분합니다.

  1. 운영 Runtime의 gcp-msg-runtime-k3s target을 Gateway ON으로 전환하고 부팅 시 유지되는 NodePort 방화벽을 적용했습니다. 승인된 digest 이미지로 HTTP/PWN 인스턴스를 각각 생성했고, 외부에서 인증서 검증을 포함한 HTTPS 200 및 TCP TLS 1.3/SNI의 실제 TinyVM 배너를 확인했습니다. 잘못된/없는 SNI는 TLS 단계에서 거절됐고 직접 NodePort 30547/32017은 timeout이었습니다. 새 Broker 노드도 아래 후속 시험을 통과해 현재 활성 target 두 곳 모두 Gateway ON입니다.
  2. 실제 Runtime operation JSON을 #80의 HttpRuntimeClient → operation service → 격리 PostgreSQL/codec → 실제 MVC 상세·목록 API에 재생해 HTTP/TCP 네 출력을 확인했습니다. 기준 코드 232개 검사와 이 실제 캡처 통합 검증이 통과했습니다. Scheduler 시험 row의 instance/team/challenge ID는 합성값이고 도메인·Runtime workload ID·endpoint 필드는 실제 캡처값입니다.
  3. 그 네 Scheduler 출력을 정확한 Backend 병합 SHA의 정규화·참가자/관리자 직렬화 함수에 넣어 도메인, 네 TLS/SNI 필드, 내부 포트 보존 및 미실행 상태의 endpoint 숨김을 확인했습니다. Backend 모델은 로컬 proxy를 사용했으므로 운영 Backend DB 저장이나 인증된 참가자 API 전체 E2E를 통과했다고 표기하지 않습니다.
  4. Runtime 재시작 후 두 원래 hostname/등록 시각이 유지됐고 TCP 접속도 성공했습니다. 최초 웹 probe가 RemoteDisconnected인 경우가 있어 새 웹 canary로 재확인했습니다. 재시작 전 첫 요청도 같은 현상 후 HTTPS 200이 3회 연속 성공했고, 별도 Runtime 재시작 직후에는 HTTPS 200이 3회 연속 성공했습니다. 간헐적 최초 연결 끊김은 관측한 미해결 사항이며 원인이나 수정 완료를 추정하지 않습니다.
  5. 시험 3개 모두 Runtime DELETE SUCCEEDED, cleanup_completed=true, Gateway GET 404/반복 DELETE 204, 네임스페이스 부재, binding/route DELETED까지 확인했습니다. 삭제는 Pod 종료 대기 때문에 2~3회 시도 후 완료됐습니다. 방화벽은 계속 유지됩니다.

남은 운영 연계 확인은 실제 Broker 후보와 Runtime target ID 연결을 맞춘 뒤, 기존 인증된 참가자 생성·조회 및 관리자 배포시험에서 HTTP/TCP 각 1건의 도메인과 네 필드가 응답·화면까지 유지되는지 확인하는 것입니다. 운영 Backend의 실제 Scheduler base URL 값·사용자 인증 경로를 이번 로컬 replay로 검증했다고 주장하지 않습니다. 기존 보호 설정 참조는 Backend /opt/msg-dev/.env의 위 두 키와 Scheduler /etc/default/mjsec-scheduler:SCHEDULER_API_TOKEN이며, 비밀값은 기존 보안 경로를 사용합니다.

2026-10-27 00:35 KST 운영 후속 확인: 새 실행 노드도 Gateway ON 전환과 실제 시험을 마쳤습니다.

  • 활성 target gcp-msg-runtime-k3s(34.9.255.41), de42849c-e0dc-43d4-8e63-9bb2bd056db4(136.115.216.159)는 모두 Gateway ON입니다. 접근되지 않는 옛 target e058d71c-24a6-4109-b025-750aca85077a의 신규 생성은 비활성화했고 정리용 등록은 보존했습니다.
  • 새 노드 UID 99f2f3b0-495a-4a7a-9e84-b4b35a7d21b8에서 실제 HTTP/TCP 생성이 모두 성공했습니다. 외부 HTTPS 200(인증서 검증 포함)과 TCP TLS 1.3/SNI의 TinyVM 배너, 없는/잘못된 SNI 거절 및 직접 NodePort 30530/32571 timeout을 확인했습니다. 새 시험 주소는 https://9139edd55398ec9df41d28b8ed6697ff.gate.msgctf.kr, tls://388299b42ba52a90154b235b31e0da9d.gate.msgctf.kr:443였으며 둘 다 시험 후 삭제했습니다.
  • 새 노드에도 동일한 부팅 시 NodePort 방화벽과 K3s 서비스 의존성을 활성화했습니다. 불필요한 기본 Traefik NodePort 할당만 HelmChartConfig로 해제했고 기존 ServiceLB host 80/443 → ClusterIP 경로는 보존했습니다. K3s 재시작은 하지 않았습니다. 동시에 배포된 사전 다운로드 에이전트의 namespace/DaemonSet UID·고정 digest·host network 미사용·공개 포트 없음도 대조해 해당 에이전트를 보존했습니다.
  • 전환 중 동시 에이전트 등록을 검사에 반영하면서 생성 접수 차단이 00:20:57–00:30:40 KST(약 9분 43초) 유지됐습니다. 현재 차단은 해제됐으며 이후 실제 생성 POST 202와 정상 동작을 확인했습니다. Runtime PID 3584624, workers 10입니다.
  • 새 두 시험도 DELETE SUCCEEDED/cleanup_completed=true, Gateway GET 404/반복 DELETE 204, 실제 새 클러스터의 namespace 부재, binding/route DELETED까지 확인했습니다. 앞선 세 시험을 포함해 다섯 시험 인스턴스를 모두 정리했습니다.

따라서 새 노드 Gateway OFF는 해소됐습니다. 남은 운영 전체 경로 확인은 기존 인증된 Backend 요청과 Broker 후보의 실제 Runtime target ID 연결입니다. 이 식별자 정합성 후속 작업은 별도 Runtime #82, Broker #10에서 진행 중입니다. 위에서 닫은 Scheduler #82와 다른 PR입니다. 해당 연결을 포함한 인증된 참가자/관리자 실제 생성·조회 E2E는 이번 캡처 재생 검사로 대체하지 않습니다.

실제 캡처·해시 manifest·수신 검사·외부 접속/재시작/삭제 증거는 작업 결과 디렉터리 outputs/gateway-merged80-handoff-20261026/와 새 노드의 new-node/에 보존했습니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Gateway v1 endpoint 연결 메타데이터 보존

3 participants