Fullmoon System

쿠버네티스 무중단 배포: readiness·startup·종료 유예 시간 검증

AI Editter

평소에는 정상인 서비스가 배포할 때만 502를 낸다면 새 Pod의 준비 시점과 기존 Pod의 종료 시점을 따로 확인해야 합니다. replicas를 늘렸다는 사실만으로 연결이 끊기지 않는 것은 아닙니다. Ingress나 외부 로드 밸런서가 변경된 대상을 인식하는 시간도 있습니다.

이 글은 HTTP 서비스를 RollingUpdate로 배포할 때 사용할 시험 설계입니다. 아래 수치는 설정 예시이며 모든 앱에 맞는 권장값은 아닙니다. 앱이 실제로 처리하는 가장 느린 요청과 시작 시간을 측정해 조정해야 합니다.

세 종류의 probe가 판단해야 하는 것

항목확인할 질문잘못 설계했을 때
startup초기화가 끝났는가느린 초기화를 장애로 오인
readiness새 요청을 받아도 되는가준비 전 트래픽 유입
liveness프로세스가 회복 불가능하게 멈췄는가외부 DB 장애 때 앱까지 연쇄 재시작

DB 연결이 잠시 실패했다고 liveness를 실패시키면 모든 Pod가 동시에 재시작할 수 있습니다. 외부 의존성 문제를 재시작으로 해결할 수 있는지부터 판단합니다. readiness 역시 외부 시스템 하나의 장애 때문에 모든 인스턴스를 제외하는 것이 바람직한지 서비스별로 결정해야 합니다.

Kubernetes의 probe 설정 문서에서 실패 조건과 startup 동작을 확인할 수 있습니다. 헬스 경로는 이름만 만드는 것이 아니라 앱에 구현해야 합니다.

설정 예시를 읽는 순서

다음은 Deployment의 spec 일부입니다. 기존 매니페스트에 맞춰 합쳐야 하며 단독으로 적용하는 완전한 리소스 파일은 아닙니다. 컨테이너는 8080에서 세 경로를 제공한다고 가정합니다.

replicas: 3
minReadySeconds: 10
strategy:
  type: RollingUpdate
  rollingUpdate:
    maxUnavailable: 0
    maxSurge: 1
template:
  spec:
    terminationGracePeriodSeconds: 60
    containers:
      - name: app
        image: YOUR_TESTED_IMAGE
        ports:
          - containerPort: 8080
        startupProbe:
          httpGet:
            path: /health/startup
            port: 8080
          periodSeconds: 5
          failureThreshold: 36
        readinessProbe:
          httpGet:
            path: /health/ready
            port: 8080
          periodSeconds: 3
          failureThreshold: 2
        livenessProbe:
          httpGet:
            path: /health/live
            port: 8080
          periodSeconds: 10
          failureThreshold: 3

startup의 5초 × 36회는 초기화를 기다리는 시간을 잡기 위한 출발점입니다. 정상 기동 시간을 재지 않고 크게 설정하면 실제 초기화 실패를 늦게 발견합니다. maxSurge로 한 개를 추가할 CPU·메모리·IP 여유도 있어야 합니다. 새 Pod가 Pending이면 무중단 설정이 있어도 배포가 진행되지 않습니다.

종료 유예 시간은 앱의 종료 처리와 함께 맞춘다

Pod가 종료될 때 트래픽 대상 갱신과 노드의 프로세스 종료 절차가 진행됩니다. 앱은 종료 신호를 받아 새 작업 수락을 멈추고 진행 중 요청을 마무리해야 합니다. 셸을 PID 1로 둔 실행 방식은 신호 전달도 확인합니다.

Pod 종료 흐름에 따르면 preStop이 있다면 그 실행도 종료 유예 시간 안에 포함됩니다. 예를 들어 preStop 10초, 진행 중 요청 최대 35초, 정리 5초라는 시험 조건이면 60초 안에 끝나는지 관찰할 수 있습니다. 단순히 sleep 10을 넣는다고 네트워크 전파가 항상 완료되는 것은 아닙니다.

60초보다 긴 업로드나 스트리밍이 있다면 이 예시를 그대로 사용할 수 없습니다. 요청을 분할하거나 연결 재수립을 지원하고, Ingress와 로드 밸런서의 draining·idle timeout도 함께 확인합니다.

배포 시험에서 일부러 겹쳐 볼 요청

요청시험 방법합격 기준 예시
짧은 조회일정 간격으로 배포 전후 호출5xx·연결 실패 건수 기록
느린 조회종료 직전 시작해 완료까지 추적허용 시간 내 응답 완료
파일 업로드전환과 겹쳐 전송저장 파일 크기·해시 일치
주문·결제성 쓰기시험 ID로 반복중복 처리와 누락 없음
WebSocket연결 유지 상태로 배포재연결·메시지 복구 기준 충족

운영 결제나 실제 고객 데이터를 시험 재료로 쓰지 않습니다. 요청 ID, 처리 Pod, 버전, 시작·완료 시각을 로그에 남기면 어느 단계에서 끊겼는지 찾기 쉽습니다. 클라이언트 재시도가 오류를 숨길 수 있으므로 최초 시도와 최종 성공을 따로 집계합니다.

kubectl -n APP_NAMESPACE rollout status deployment/APP_NAME
kubectl -n APP_NAMESPACE get pods -w
kubectl -n APP_NAMESPACE get endpointslices \
  -l kubernetes.io/service-name=SERVICE_NAME

세 명령의 자리표시자를 실제 값으로 바꿉니다. rollout 완료와 사용자 요청 성공은 다른 검사이므로 외부 접속 시험을 병행합니다.

DB 변경 때문에 되돌릴 수 없는 배포를 피하기

구버전과 신버전 Pod는 한동안 공존합니다. 신버전 배포와 동시에 구버전이 사용하는 컬럼을 삭제하면 네트워크 설정이 완벽해도 요청이 실패합니다. 컬럼 추가, 양쪽 버전 호환, 데이터 이관, 구버전 종료, 불필요한 컬럼 제거처럼 변경을 나눕니다.

롤백도 이전 이미지로 바꾸는 것만 시험하지 않습니다. 신버전이 저장한 데이터를 구버전이 읽을 수 있는지 확인합니다. 이 검증까지 통과해야 배포 중 오류가 발생했을 때 실제로 돌아갈 경로가 생깁니다.

관련 절차: Kubespray Kubernetes 구축: Rocky Linux 9·Cilium 운영 가이드