쿠버네티스 무중단 배포: readiness·startup·종료 유예 시간 검증
AI Editter
평소에는 정상인 서비스가 배포할 때만 502를 낸다면 새 Pod의 준비 시점과 기존 Pod의 종료 시점을 따로 확인해야 합니다. replicas를 늘렸다는 사실만으로 연결이 끊기지 않는 것은 아닙니다. Ingress나 외부 로드 밸런서가 변경된 대상을 인식하는 시간도 있습니다.
이 글은 HTTP 서비스를 RollingUpdate로 배포할 때 사용할 시험 설계입니다. 아래 수치는 설정 예시이며 모든 앱에 맞는 권장값은 아닙니다. 앱이 실제로 처리하는 가장 느린 요청과 시작 시간을 측정해 조정해야 합니다.
세 종류의 probe가 판단해야 하는 것
| 항목 | 확인할 질문 | 잘못 설계했을 때 |
|---|---|---|
| startup | 초기화가 끝났는가 | 느린 초기화를 장애로 오인 |
| readiness | 새 요청을 받아도 되는가 | 준비 전 트래픽 유입 |
| liveness | 프로세스가 회복 불가능하게 멈췄는가 | 외부 DB 장애 때 앱까지 연쇄 재시작 |
DB 연결이 잠시 실패했다고 liveness를 실패시키면 모든 Pod가 동시에 재시작할 수 있습니다. 외부 의존성 문제를 재시작으로 해결할 수 있는지부터 판단합니다. readiness 역시 외부 시스템 하나의 장애 때문에 모든 인스턴스를 제외하는 것이 바람직한지 서비스별로 결정해야 합니다.
Kubernetes의 probe 설정 문서에서 실패 조건과 startup 동작을 확인할 수 있습니다. 헬스 경로는 이름만 만드는 것이 아니라 앱에 구현해야 합니다.
설정 예시를 읽는 순서
다음은 Deployment의 spec 일부입니다. 기존 매니페스트에 맞춰 합쳐야 하며 단독으로 적용하는 완전한 리소스 파일은 아닙니다. 컨테이너는 8080에서 세 경로를 제공한다고 가정합니다.
replicas: 3
minReadySeconds: 10
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 0
maxSurge: 1
template:
spec:
terminationGracePeriodSeconds: 60
containers:
- name: app
image: YOUR_TESTED_IMAGE
ports:
- containerPort: 8080
startupProbe:
httpGet:
path: /health/startup
port: 8080
periodSeconds: 5
failureThreshold: 36
readinessProbe:
httpGet:
path: /health/ready
port: 8080
periodSeconds: 3
failureThreshold: 2
livenessProbe:
httpGet:
path: /health/live
port: 8080
periodSeconds: 10
failureThreshold: 3
startup의 5초 × 36회는 초기화를 기다리는 시간을 잡기 위한 출발점입니다. 정상 기동 시간을 재지 않고 크게 설정하면 실제 초기화 실패를 늦게 발견합니다. maxSurge로 한 개를 추가할 CPU·메모리·IP 여유도 있어야 합니다. 새 Pod가 Pending이면 무중단 설정이 있어도 배포가 진행되지 않습니다.
종료 유예 시간은 앱의 종료 처리와 함께 맞춘다
Pod가 종료될 때 트래픽 대상 갱신과 노드의 프로세스 종료 절차가 진행됩니다. 앱은 종료 신호를 받아 새 작업 수락을 멈추고 진행 중 요청을 마무리해야 합니다. 셸을 PID 1로 둔 실행 방식은 신호 전달도 확인합니다.
Pod 종료 흐름에 따르면 preStop이 있다면 그 실행도 종료 유예 시간 안에 포함됩니다. 예를 들어 preStop 10초, 진행 중 요청 최대 35초, 정리 5초라는 시험 조건이면 60초 안에 끝나는지 관찰할 수 있습니다. 단순히 sleep 10을 넣는다고 네트워크 전파가 항상 완료되는 것은 아닙니다.
60초보다 긴 업로드나 스트리밍이 있다면 이 예시를 그대로 사용할 수 없습니다. 요청을 분할하거나 연결 재수립을 지원하고, Ingress와 로드 밸런서의 draining·idle timeout도 함께 확인합니다.
배포 시험에서 일부러 겹쳐 볼 요청
| 요청 | 시험 방법 | 합격 기준 예시 |
|---|---|---|
| 짧은 조회 | 일정 간격으로 배포 전후 호출 | 5xx·연결 실패 건수 기록 |
| 느린 조회 | 종료 직전 시작해 완료까지 추적 | 허용 시간 내 응답 완료 |
| 파일 업로드 | 전환과 겹쳐 전송 | 저장 파일 크기·해시 일치 |
| 주문·결제성 쓰기 | 시험 ID로 반복 | 중복 처리와 누락 없음 |
| WebSocket | 연결 유지 상태로 배포 | 재연결·메시지 복구 기준 충족 |
운영 결제나 실제 고객 데이터를 시험 재료로 쓰지 않습니다. 요청 ID, 처리 Pod, 버전, 시작·완료 시각을 로그에 남기면 어느 단계에서 끊겼는지 찾기 쉽습니다. 클라이언트 재시도가 오류를 숨길 수 있으므로 최초 시도와 최종 성공을 따로 집계합니다.
kubectl -n APP_NAMESPACE rollout status deployment/APP_NAME
kubectl -n APP_NAMESPACE get pods -w
kubectl -n APP_NAMESPACE get endpointslices \
-l kubernetes.io/service-name=SERVICE_NAME
세 명령의 자리표시자를 실제 값으로 바꿉니다. rollout 완료와 사용자 요청 성공은 다른 검사이므로 외부 접속 시험을 병행합니다.
DB 변경 때문에 되돌릴 수 없는 배포를 피하기
구버전과 신버전 Pod는 한동안 공존합니다. 신버전 배포와 동시에 구버전이 사용하는 컬럼을 삭제하면 네트워크 설정이 완벽해도 요청이 실패합니다. 컬럼 추가, 양쪽 버전 호환, 데이터 이관, 구버전 종료, 불필요한 컬럼 제거처럼 변경을 나눕니다.
롤백도 이전 이미지로 바꾸는 것만 시험하지 않습니다. 신버전이 저장한 데이터를 구버전이 읽을 수 있는지 확인합니다. 이 검증까지 통과해야 배포 중 오류가 발생했을 때 실제로 돌아갈 경로가 생깁니다.