운영을 잇다 02 — Rocky Linux 기반 자동화 인프라 구축

신규 환경 설치 순서 — 온라인망 / 폐쇄망

Windows 명령은 PowerShell, 게스트 명령은 해당 Rocky VM의 Bash 에서 실행한다. 실행 노드와 경로를 확인하고 각 단계의 판정 기준을 통과한 후 진행한다. 이번 보완 도구로 새 VM 11 대를 처음부터 재구축하는 전체 시험은 아직 수행하지 않았다. 이전 실습의 성공 기록은 신규 도구 검증과 구분한다.

0. 설치 재료와 작업 경로

공개 지원 ZIP을 풀면 config/, automation/, build-support/가 보인다. Rocky Minimal ISO, 공식 iPXE BIOS ISO, RPM, 컨테이너 이미지, K3s 바이너리는 별도로 준비한다. 공식 배포처의 체크섬과 서명을 확인한다. 다운로드 후 자체 생성한 체크섬은 공식 서명을 대신하지 않는다.

Windows의 예시 저장 경로는 C:\FullMoon-Rebuild다. 비밀 파일은 동기화되지 않는 private에 두고 개인키는 VM에 복사하지 않는다.

New-Item -ItemType Directory -Path 'C:\FullMoon-Rebuild\private' -Force
ssh-keygen -t ed25519 -f 'C:\FullMoon-Rebuild\private\labadmin_ed25519'

온라인망: 관리 VM 8 대는 설치 기간 NAT NIC를 사용한다. 폐쇄망: -Mode offline으로 만들면 NAT NIC와 loopback SSH 포워딩이 없다. 최초 설정은 VirtualBox 콘솔에서 하고 필요한 자료는 CD/ISO 등 승인된 경로로 반입한다. 외부 다운로드와 이미지 빌드는 연결된 준비 VM에서 끝낸다. 준비 VM은 같은 Rocky 10 x86_64를 사용한다.

1. 관리 VM 생성과 OS 설치

# Windows: 지원 ZIP을 푼 폴더
$nodes = @('fml-ops-01','fml-ops-02','fml-quorum-01','fml-gateway-01',
           'fml-provision-01','fml-edge-prod-01','fml-edge-dev-01','fml-edge-stg-01')
foreach ($node in $nodes) {
  .\build-support\New-LabVm.ps1 -Name $node `
    -RockyIso 'C:\FullMoon-Rebuild\media\Rocky-10.2-x86_64-minimal.iso' `
    -BaseFolder 'C:\FullMoon-Rebuild\machines' -Mode online `
    -CpuProfile 'Intel Core i7-6700K' -WhatIf
}
# 계획 확인 후 -WhatIf를 빼고 실행. 폐쇄망은 -Mode offline.

관리 VM 생성기는 EFI64 펌웨어를 사용하고 PXE 대상 생성기는 BIOS를 사용한다. 위 Intel Core i7-6700K는 이 PC의 기존 실습에서 확인한 VirtualBox CPU 프로파일 설정값이며 실제 PC의 CPU 모델명이 아니다. 같은 PC에서 재구축할 때 이 값을 명시한다. 다른 PC에서는 아래 명령으로 사용 가능한 프로파일을 확인하고 Rocky 10에 필요한 x86-64-v3 기능이 게스트에 전달되는지 확인한 뒤 값을 선택한다.

# Windows: 읽기 전용 CPU 프로파일 목록 확인
& 'C:\Program Files\Oracle\VirtualBox\VBoxManage.exe' list cpu-profiles

생성기는 기존 VM과 디스크를 덮어쓰지 않고 중단하며 VM을 자동 시작하지 않는다. 동일한 이름의 기존 실습 VM이 있으면 별도 PC/환경에서 구축한다. OS 설치 중 관리 VM은 4GiB 이상을 사용한다. ops01은 운영 할당량이 7GiB 이므로 그대로 둔다. 설치 완료 후 정상 종료하고 VM 별 운영 메모리로 줄인다.

VirtualBox 콘솔에서 한 대씩 Rocky 최소 설치를 수행한다. 각 VM의 새 VDI를 선택하고 labadmin을 관리자 그룹으로 만든다. 콘솔용 암호는 SSH 공개키 접속 확인 후 관리 정책에 따라 제한한다. 개별 새 설치를 사용하므로 machine-id와 SSH host key를 공유하지 않는다.

NIC 이름은 ip -br link와 VirtualBox NIC의 MAC으로 확인한다. 이름이 다르면 모든 구성 파일에서 함께 바꾼다. Gateway/Provision의 추가 NIC는 순서대로 enp0s9/enp0s10/enp0s16을 예상한다.

# 각 VM 콘솔. 아래는 ops01 예시.
node=fml-ops-01
address=10.77.10.11/24
dns=10.77.10.20
sudo hostnamectl set-hostname "$node.fullmoon.test"
sudo nmcli connection add type ethernet con-name fml-internal ifname enp0s8 \
  ipv4.method manual ipv4.addresses "$address" ipv4.dns "$dns" \
  ipv4.never-default yes ipv6.method disabled connection.zone internal
sudo nmcli connection up fml-internal
sudo install -d -m 0700 -o labadmin -g labadmin /home/labadmin/.ssh
sudo install -m 0600 -o labadmin -g labadmin /tmp/labadmin_ed25519.pub /home/labadmin/.ssh/authorized_keys
sudo restorecon -RF /home/labadmin/.ssh
printf '%s\n' 'labadmin ALL=(ALL) NOPASSWD: ALL' | sudo tee /etc/sudoers.d/90-fullmoon-lab >/dev/null
sudo chmod 0440 /etc/sudoers.d/90-fullmoon-lab
sudo visudo -cf /etc/sudoers.d/90-fullmoon-lab
sudo systemctl enable --now sshd firewalld chronyd
ip -br address

관리 공개키는 먼저 /tmp/labadmin_ed25519.pub로 반입한다. Edge의 DNS는 각각 10.77.20.20/30.20/40.20 이다. 게스트 콘솔의 SSH host key fingerprint와 접속 시 표시한 값을 비교한다. SSH 공개키 접속을 확인한 뒤 다음 관리 접근 설정을 적용한다. 기존 접속을 유지한 채 sshd 검사에 통과한 후 reload 한다.

# 각 관리 VM: 콘솔 또는 이미 공개키 인증이 확인된 관리 세션
printf '%s\n' 'PermitRootLogin no' 'PasswordAuthentication no' \
 'KbdInteractiveAuthentication no' 'PubkeyAuthentication yes' 'AllowUsers labadmin' \
 | sudo tee /etc/ssh/sshd_config.d/00-fullmoon-lab.conf >/dev/null
sudo sshd -t
sudo systemctl reload sshd

NOPASSWD sudo는 실습용이며 운영에서는 실행 명령과 관리자 권한을 정책에 맞춰 제한한다.

2. 소스 전달과 네트워크

ops01에 공개 소스를 /opt/fullmoon-lab/source-original, 보완 파일을 /opt/fullmoon-lab/build-support로 전달한다. 비밀을 만들기 전에 새 환경용 복사본을 준비한다.

온라인 관리 NAT에서는 Windows에서 다음과 같이 공개 소스를 전달한다. 최초 콘솔에서 승인한 SSH host key를 사용한다.

# Windows: ZIP을 푼 폴더
 tar -cf 'C:\FullMoon-Rebuild\source.tar' config automation build-support
 scp -i 'C:\FullMoon-Rebuild\private\labadmin_ed25519' -P 22031 `
  'C:\FullMoon-Rebuild\source.tar' labadmin@127.0.0.1:/tmp/fullmoon-source.tar
 ssh -i 'C:\FullMoon-Rebuild\private\labadmin_ed25519' -p 22031 labadmin@127.0.0.1 `
  'sudo install -d -m 0755 /opt/fullmoon-lab/source-original; sudo tar -xf /tmp/fullmoon-source.tar -C /opt/fullmoon-lab/source-original; sudo cp -a /opt/fullmoon-lab/source-original/build-support /opt/fullmoon-lab/build-support'

폐쇄망은 동일 tar를 ISO 등에 넣어 콘솔에서 마운트하고 같은 위치로 펼친다. 공개 소스에는 비밀이 없다. 이 과정에서 생성한 비밀 tar를 공개 source.tar와 섞지 않는다.

# ops01
sudo python3 /opt/fullmoon-lab/build-support/prepare-source.py \
  --source /opt/fullmoon-lab/source-original --output /opt/fullmoon-lab/source

이후에는 수정한 source/config/를 사용한다. 다른 관리 VM 에도 source/config/를 동일한 경로로 전달한다. 온라인은 Docker를 ops01/ops02/quorum/Edge 세 대에 설치한다. 원래 install-docker.sh는 최신 가용 패키지를 사용한다. 원래 실습의 패치 버전까지 고정하려면 공식 저장소의 NEVRA를 선택해 설치한다.

# Docker 사용 노드: 온라인
bash /opt/fullmoon-lab/source/config/install-docker.sh
# Gateway: 마지막에 재부팅한다.
bash /opt/fullmoon-lab/source/config/configure-gateway.sh
# Provision: DVD에 Rocky ISO를 연결한 상태
bash /opt/fullmoon-lab/source/config/configure-provision.sh

중앙과 quorum 에는 세 환경망을 향하는 경로를 추가한다. Provision은 라우터가 아니며 Gateway가 라우팅한다.

# ops01/ops02/quorum
for subnet in 20 30 40; do
  sudo nmcli connection modify fml-internal +ipv4.routes "10.77.$subnet.0/24 10.77.10.1"
done
sudo nmcli device reapply enp0s8
printf '%s\n' 'server 10.77.10.20 iburst' | sudo tee /etc/chrony.conf >/dev/null
sudo systemctl restart chronyd
getent hosts netbox.fullmoon.test git.fullmoon.test
chronyc tracking

DNS는 외부 fallback을 사용하지 않는다. Provision의 local stratum은 고립된 실습 시간을 맞추는 설정이며 정확한 외부 시각을 보장하지 않는다. 폐쇄망에서는 13 절로 역할별 RPM을 먼저 설치하고 모든 외부 repo를 비활성화한다.

3. NFS와 새 CA·새 비밀 생성

# quorum
bash /opt/fullmoon-lab/source/config/quorum-storage-ca.sh

quorum이 만든 공개 인증서 /etc/fullmoon-lab/pki/ca.crt를 ops01의 /opt/fullmoon-lab/incoming/ca.crt로 전달한다. CA 개인키는 quorum에 둔다. 새 관리 공개키도 incoming으로 전달한다.

# ops01 root: 동기화되지 않는 새 경로에서 한 번만 생성
set -e
sudo python3 /opt/fullmoon-lab/build-support/generate-config.py \
  --source /opt/fullmoon-lab/source --output /opt/fullmoon-lab/build \
  --admin-public-key /opt/fullmoon-lab/incoming/labadmin_ed25519.pub \
  --ca-cert /opt/fullmoon-lab/incoming/ca.crt
sudo test ! -e /opt/fullmoon-lab/private
sudo cp -a /opt/fullmoon-lab/build/private /opt/fullmoon-lab/private
sudo cp -a /opt/fullmoon-lab/build/automation /opt/fullmoon-lab/automation
sudo chmod 0700 /opt/fullmoon-lab/private

생성기는 DB 암호, NetBox secret/pepper, 관리자 암호, Agent/Proxy PSK, 자동화 SSH 키를 새로 만든다. 중앙 두 대에는 동일한 비밀을 배포한다. 노드마다 생성기를 다시 실행하지 않는다. build/private, 생성한 tar 에는 비밀이 들어 있어 공개 자료와 Git에 넣지 않는다.

생성한 비밀 tar를 배포할 때 온라인 관리 NAT의 예시는 다음과 같다. ops01 root 전용 파일을 관리 계정 소유의 임시 전송 파일로 복사하고 Windows의 동기화되지 않는 private 폴더를 거쳐 해당 노드로 보낸다. 아래는 ops02 core의 예시이며 4절 표에 맞춰 파일명과 포트를 바꾼다.

# ops01: 해당 tar 한 개만 일시적으로 전달
sudo install -m 0600 -o labadmin -g labadmin /opt/fullmoon-lab/build/fml-ops-02.tar /home/labadmin/fullmoon-transfer.tar

# Windows: 관리 개인키로 두 연결에 인증. 22032는 ops02.
scp -i 'C:\FullMoon-Rebuild\private\labadmin_ed25519' -P 22031 `
 labadmin@127.0.0.1:fullmoon-transfer.tar 'C:\FullMoon-Rebuild\private\fullmoon-transfer.tar'
scp -i 'C:\FullMoon-Rebuild\private\labadmin_ed25519' -P 22032 `
 'C:\FullMoon-Rebuild\private\fullmoon-transfer.tar' labadmin@127.0.0.1:/tmp/fullmoon-core-config.tar
# 해당 파일 전송 확인 후 ops01의 /home/labadmin/fullmoon-transfer.tar와
# Windows의 fullmoon-transfer.tar를 삭제한다. root의 원본 build tar는 보존한다.

각 임시 전송 파일은 다른 비밀 tar를 받기 전에 정리한다. 폐쇄망은 조직에서 승인한 암호화된 이동 매체로 동일한 목적지에 전달한다. CA 공개 인증서와 HTTPS 개인키도 구분한다. 중앙에 필요한 frontend.pem만 같은 권한 제한으로 전달하고 quorum의 CA 개인키는 옮기지 않는다.

4. core tar 배포와 etcd·DB·Redis 시작

먼저 온라인 준비 VM에서 Patroni 이미지를 완성해 두 중앙 노드에 동일하게 배포한다. 현장에서 재빌드하지 않는다.

# 온라인 준비 VM
sudo docker build -t fullmoon/patroni:4.1.5-pg15 /opt/fullmoon-lab/source/config/patroni
sudo docker save -o patroni.tar fullmoon/patroni:4.1.5-pg15
# 중앙 두 대에 반입 후
sudo docker load -i patroni.tar

etcd/Redis 도 이미지 pull 또는 archive load로 준비하고 quorum → ops01 → ops02 순서로 bash /opt/fullmoon-lab/source/config/start-core.sh를 실행한다. 과반수가 준비되기 전에는 DB를 정상으로 판정하지 않는다.

sudo docker exec fullmoon-core-etcd-1 etcdctl \
  --endpoints=http://10.77.10.11:2379,http://10.77.10.12:2379,http://10.77.10.13:2379 endpoint health
sudo docker exec fullmoon-core-postgres-1 patronictl -c /etc/patroni/patroni.yml list

etcd의 HTTP와 DB/Redis 내부 평문은 이 제한된 실습망의 선택이다. 운영으로 옮길 때 내부 인증과 TLS를 추가 검토한다.

5. VIP·HTTPS·DB 초기화·NetBox/Zabbix

각 build/{node}-apps.tar를 해당 중앙의 /tmp/fullmoon-app-config.tar로 전달한다. quorum의 frontend.pem을 /tmp/fullmoon-frontend.pem, 공개 CA를 /tmp/fullmoon-ca.crt로 전달한다. frontend.pem 에는 서버 개인키가 있으므로 필요한 중앙 두 대에만 root0600으로 배포한다.

아래에서 해당 망에 맞는 명령 하나만 선택해 중앙 두 대에서 실행한다.

온라인망에서 구성 시

FULLMOON_MODE=online bash /opt/fullmoon-lab/source/config/central-frontends.sh

폐쇄망에서 구성 시

FULLMOON_MODE=offline bash /opt/fullmoon-lab/source/config/central-frontends.sh

central-frontends.sh가 tar를 펼친 후 같은 apps tar를 같은 임시 위치로 다시 전달한다. activate-apps.sh 도 tar를 입력으로 읽는다. ops01 에서 먼저 실행해 DB 초기화와 NetBox migration이 끝나는지 확인하고 ops02로 진행한다.

# ops01: 두 DB 역할을 확인. 번호가 아닌 실제 primary를 사용한다.
curl --fail http://10.77.10.11:8008/patroni
curl --fail http://10.77.10.12:8008/patroni
bash /opt/fullmoon-lab/source/config/activate-apps.sh
sudo docker inspect --format '{{.State.Health.Status}}' fullmoon-apps-netbox-1
# ops01 healthy 확인 후 ops02에서도 activate-apps.sh 실행

수정본의 SQL 초기화는 HAProxy 6432로 실제 primary에 전달한다. 두 CORE 노드 사이의 6432, ops02 HAProxy에서 ops01 AWX NodePort30080으로의 제한된 경로도 방화벽에 추가한다. 이 보완 규칙의 실제 HA 전환 재시험은 아직 수행하지 않았다. 원래 로컬 Unix socket 초기화와 섞지 않는다. 수정본은 NetBox Worker도 명시적으로 시작한다.

# 중앙 두 대
sudo docker compose --project-directory /opt/fullmoon-lab/apps \
 -f /opt/fullmoon-lab/apps/compose.yml ps
curl --fail https://netbox.fullmoon.test/login/ -o /dev/null
curl --fail https://zabbix.fullmoon.test/ -o /dev/null

6. Proxy/Bastion

환경별 build/fml-edge-{env}-01.tar를 해당 Edge의 /tmp/fullmoon-edge.tar로 전달한다. 수정본은 labadmin 관리 접근을 보존하고 bastion 에는 해당 .101:22 forwarding 만 허용한다.

아래에서 해당 망에 맞는 명령 하나만 선택해 해당 Edge에서 실행한다.

온라인망에서 구성 시

FULLMOON_MODE=online bash /opt/fullmoon-lab/source/config/configure-edge.sh

폐쇄망에서 구성 시

FULLMOON_MODE=offline bash /opt/fullmoon-lab/source/config/configure-edge.sh

두 방식 모두 적용 후 확인

sudo sshd -T -C user=bastion,host=localhost,addr=10.77.10.11 \
 | grep -E 'allowusers|permitopen|allowtcpforwarding|forcecommand'

Proxy 이름/PSK는 이후 Zabbix API 초기화와 동일한 생성 값을 사용한다.

7. PXE 대상 설치

생성한 build/pxe의 .ks/.ipxe 파일을 Provision의 /var/www/html/ks에 둔다. 이전 UEFI DHCP boot를 실제 사용한 BIOS iPXE chain으로 바꾼다.

# Provision: 생성 파일을 /tmp/pxe로 전달한 후
sudo install -m 0644 /tmp/pxe/*.ks /tmp/pxe/*.ipxe /var/www/html/ks/
sudo sed -i '/^dhcp-boot=/d' /etc/dnsmasq.d/fullmoon.conf
printf '%s\n' \
 'dhcp-boot=tag:prod,http://10.77.20.20/ks/prod.ipxe' \
 'dhcp-boot=tag:dev,http://10.77.30.20/ks/dev.ipxe' \
 'dhcp-boot=tag:stg,http://10.77.40.20/ks/stg.ipxe' \
 | sudo tee -a /etc/dnsmasq.d/fullmoon.conf >/dev/null
sudo restorecon -RF /var/www/html/ks
sudo dnsmasq --test
sudo systemctl restart dnsmasq
# 온라인만 실행. 폐쇄망은 준비 VM의 packages/와 GPG 공개키를 반입한다.
bash /opt/fullmoon-lab/source/config/prepare-agent-repository.sh

# Windows: 한 대씩, 먼저 DEV
.\build-support\Create-PxeTarget.ps1 -Environment dev `
 -IpxeIso 'C:\FullMoon-Rebuild\media\ipxe-legacy.iso' `
 -BaseFolder 'C:\FullMoon-Rebuild\machines' `
 -CpuProfile 'Intel Core i7-6700K' -WhatIf
# 계획 확인 후 -WhatIf를 제거. Provision 준비가 끝나면 VirtualBox에서 시작.

iPXE chain이 시작되지 않으면 콘솔의 iPXE shell 에서 dhcp, chain ${filename}을 실행한다. 설치 완료 후 정상 종료하고 DVD를 분리한 뒤 RAM을 1GiB로 줄인다. serial-console.log의 FULLMOON_HOSTKEY_BEGIN/END 사이 공개 host key와 게스트 콘솔 fingerprint를 비교해 승인한다. 기존 repair-ipxe-autostart.sh는 이전 UEFI 시험용이며 이 BIOS 순서에 쓰지 않는다.

8. SSH host key 승인과 Git

ops02 Git, Bastion 세 대와 설치한 대상의 공개 host key를 VM 콘솔에서 확인한다. ssh-keyscan 결과만으로 신뢰하지 않는다. ops01의 automation/files/known_hosts에 승인한 키만 기록한다.

git.fullmoon.test,10.77.10.12 ssh-ed25519 <ops02 콘솔에서 확인한 공개 host key>
10.77.20.10 ssh-ed25519 <PROD Edge 공개 host key>
10.77.30.10 ssh-ed25519 <DEV Edge 공개 host key>
10.77.40.10 ssh-ed25519 <STG Edge 공개 host key>
10.77.30.101 ssh-ed25519 <DEV 대상 공개 host key>

# ops01: 승인 정보를 포함해 소스 tar를 다시 만든다.
sudo tar -cf /opt/fullmoon-lab/build/automation-source.tar -C /opt/fullmoon-lab/automation .
# ops02로 automation-source.tar → /tmp/automation-source.tar,
# private/automation_ed25519.pub → /tmp/automation.pub 전달 후
bash /opt/fullmoon-lab/source/config/setup-git.sh

대상을 추가할 때 승인 host key·bootstrap inventory·Bastion PermitOpen을 갱신하고 Git에 커밋한다. 초기 setup-git.sh를 운영 중 무조건 반복하는 방식으로 수정하지 않는다.

9. EE·K3s·AWX

Git과 Bastion 승인 host key를 준비한 후 EE를 빌드한다. EE에 새 CA와 공개 known_hosts를 넣는다. 폐쇄망은 준비 VM의 빌드 결과를 반입한다.

# ops01 온라인
bash /opt/fullmoon-lab/source/config/install-k3s.sh
bash /opt/fullmoon-lab/source/config/k3s-lab-dns.sh
bash /opt/fullmoon-lab/source/config/build-ee.sh
# 폐쇄망 K3s는13절의 install-k3s-offline.sh 사용. 현장 EE 빌드는 생략.

폐쇄망용 EE를 만드는 준비 VM에는 K3s가 없어도 된다. 준비 단계는 build/save까지만 수행하고 현장 ops01에서 import한다. 새 quorum CA 공개 인증서와 승인한 known_hosts를 준비 VM에 전달한 뒤 실행한다.

# 온라인 준비 VM: Docker 설치와 수정 source 준비 완료
sudo install -m 0644 /tmp/fullmoon-new-ca.crt /etc/pki/ca-trust/source/anchors/fullmoon-lab-ca.crt
sudo install -d -m 0755 /opt/fullmoon-lab/automation/files
sudo install -m 0644 /tmp/fullmoon-approved-known_hosts /opt/fullmoon-lab/automation/files/known_hosts
bash /opt/fullmoon-lab/source/config/build-ee-prepare.sh
# 출력: /opt/fullmoon-lab/offline/images/fullmoon-ee-r2.tar
# 이 파일을 현장 ops01에 반입한 후
sudo k3s ctr images import /mnt/fullmoon-offline/fullmoon-ee-r2.tar

공식 Operator 2.19.1 소스를 온라인 준비 VM에서 받고 commit을 기록한 후 ops01의 build/awx/operator로 전달한다. 생성기의 kustomization은 로컬 Operator를 참조한다.

# 온라인 준비 VM
git clone --branch 2.19.1 --depth 1 https://github.com/ansible/awx-operator.git operator
git -C operator rev-parse HEAD
# ops01: operator/를 build/awx/operator로 반입한 후
sudo tar -cf /opt/fullmoon-lab/build/awx.tar -C /opt/fullmoon-lab/build/awx .
sudo install -m 0600 /opt/fullmoon-lab/build/awx.tar /tmp/fullmoon-awx.tar
bash /opt/fullmoon-lab/source/config/install-awx.sh
sudo k3s kubectl -n awx get pods,jobs
curl --fail https://awx.fullmoon.test/api/v2/ping/

admin_user는 labadmin 이다. AWX Secret Key는 Operator가 만든 Secret에 있으므로 DB와 함께 백업한다. 단일 K3s/replica는 AWX HA가 아니다.

10. NetBox 사용자·토큰과 API 연동 초기화

NetBox migration과 labadmin 생성이 완료되면 새 토큰을 컨테이너 root 전용 파일로 만든다. 토큰 값은 stdout에 출력하지 않는다.

# ops01
sudo docker cp /opt/fullmoon-lab/build-support/bootstrap-netbox-users.py fullmoon-apps-netbox-1:/tmp/bootstrap-netbox-users.py
sudo docker exec -u 0 fullmoon-apps-netbox-1 sh -c \
 '/opt/netbox/venv/bin/python /opt/netbox/netbox/manage.py shell < /tmp/bootstrap-netbox-users.py'
sudo docker cp fullmoon-apps-netbox-1:/tmp/fullmoon-api-tokens.json /opt/fullmoon-lab/private/netbox-token-export.json
sudo chmod 0600 /opt/fullmoon-lab/private/netbox-token-export.json
sudo docker exec -u 0 fullmoon-apps-netbox-1 rm -f /tmp/fullmoon-api-tokens.json /tmp/bootstrap-netbox-users.py
sudo python3 /opt/fullmoon-lab/build-support/finish-integration.py \
 --tokens /opt/fullmoon-lab/private/netbox-token-export.json

순서는 NetBox Custom Field/카탈로그 → Zabbix Proxy/API role/user/token → AWX Credential/Project/Inventory/Job/Workflow 다. AWX 객체 ID는 private/awx-objects.json에 저장되고 이전 실습의 번호와 다르다. Git Project와 bootstrap inventory sync가 성공한 후 DEV 만 limit으로 지정해 Workflow를 실행한다. 자산/Interface/IP → Zabbix host → NetBox inventory sync → 최신 모니터링 값까지 검증한다.

11. 설치 완료 controller

이번 패키지의 신규 환경용 controller는 private/awx-objects.json의 ID를 읽고 빈 state 에서 시작한다. 원래 공개 파일의 이전 job 22/30 이나 Project8/Inventory9/Workflow13을 복사하지 않는다. 설치 marker·hostname·machine-id·승인 SSH 키 확인을 수동으로 먼저 검사하고 timer를 켠다. 불일치 대상에는 쓰기를 시작하지 않고 실패는 manual_review_required로 남긴다.

# ops01: 지원 패키지의 수정 controller와 초기화 installer 사용
sudo install -m 0644 /opt/fullmoon-lab/source/config/postinstall_controller.py \
 /opt/fullmoon-lab/automation/tools/postinstall_controller.py
sudo install -d -m 0700 /opt/fullmoon-lab/postinstall
# 새 환경에만 적용. 기존 state 파일이 있으면 초기화하지 않고 내용을 검토한다.
sudo test ! -e /opt/fullmoon-lab/postinstall/state.json
sudo python3 -c 'import json; from pathlib import Path; p=Path("/opt/fullmoon-lab/private/awx-objects.json"); d=json.loads(p.read_text()); assert all(d.get(k) for k in ("project","bootstrap_source","workflow")); print("새 AWX 객체 ID 파일 확인 완료")'
# 신규 대상 신원과 자동 실행할 limit을 확인한 후 설치
bash /opt/fullmoon-lab/source/config/install-postinstall-controller.sh
sudo systemctl is-enabled fullmoon-postinstall.timer
sudo systemctl list-timers fullmoon-postinstall.timer
sudo journalctl -u fullmoon-postinstall.service -n 20 --no-pager

타이머 활성화 시 승인된 새 대상의 Workflow가 시작될 수 있다. 최초 시험은 DEV만 준비하고 marker·hostname·SSH host key를 확인한 상태에서 수행한다. 성공한 state를 지워 중복 실행시키지 않는다.

12. 브라우저 접속과 완료 판정

Windows 에서 새 CA의 공개 인증서를 신뢰한다. hosts는 관리자 권한으로 세 서비스 이름을 127.0.0.1에 연결한다. 온라인 관리 NAT의 접속 예시:

ssh -i 'C:\FullMoon-Rebuild\private\labadmin_ed25519' -p 22031 -N `
 -L 127.0.0.1:443:10.77.10.10:443 labadmin@127.0.0.1

폐쇄망은 NAT tunnel이 없다. CORE Internal Network에 별도 관리용 VM을 연결하고 DNS는 10.77.10.20, CA 신뢰는 새 CA로 설정한다.

1. etcd endpoint 세 개가 healthy, Patroni는 leader 한 대와 replica 한 대, Redis/Sentinel 역할이 일치한다.
2. 두 NetBox App/Worker가 정상이고 VIP/HTTPS 인증서 검증이 성공한다.
3. Zabbix는 Active 한 대와 Standby 한 대, Proxy 이름/PSK가 일치하고 Agent 최신 값이 갱신된다.
4. AWX Git/Inventory 동기화와 DEV Workflow가 성공하고 IP 중복을 거부한다.
5. 재실행해도 자산이 늘지 않고, 알 수 없는 SSH 키와 다른 machine-id 에서 쓰기를 거부한다.
6. 노드 중단·DB 역할 전환·Redis 복구·Proxy 지연 데이터 재전송·백업 복원을 03 검증표로 재시험한다.

13. 폐쇄망 반입과 설치

준비 VM은 같은 Rocky 10 x86_64로 만든다. 모든 역할의 RPM과 의존성을 저장한다. 고정 버전은 실제 NEVRA로 지정하고 rpm-versions.txt에 남긴다.

# 온라인 준비 VM: 공식 저장소와 서명키 설정 후
sudo dnf -y install dnf-plugins-core createrepo_c
mkdir -p offline/rpms
dnf download --resolve --alldeps --destdir offline/rpms \
 docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin \
 git-core jq curl python3 python3-pip kernel-modules-extra dnsmasq httpd chrony \
 firewalld openssh-server openssh-clients sudo haproxy keepalived nfs-utils \
 openssl policycoreutils-python-utils createrepo_c gnupg2
# k3s-selinux도 공식 Rancher 저장소에서 의존성을 포함해 추가
createrepo_c offline/rpms
rpm -qp --queryformat '%{NAME}-%{EPOCHNUM}:%{VERSION}-%{RELEASE}.%{ARCH}\n' offline/rpms/*.rpm > offline/rpm-versions.txt
rpm -K offline/rpms/*.rpm

공식 RPM 서명 공개키를 함께 반입하고 현장에서 등록한다. /mnt/fullmoon-offline/rpms로 반입했다면 다음 내용을 /etc/yum.repos.d/fullmoon-offline.repo에 작성한다.

[fullmoon-offline]
name=FullMoon approved offline RPMs
baseurl=file:///mnt/fullmoon-offline/rpms
enabled=1
gpgcheck=1
repo_gpgcheck=0

개별 RPM 서명 검증은 유지한다. metadata 까지 서명했다면 repo_gpgcheck 도 사용한다. 모든 외부 repo를 disabled로 두고 offline repo 만 enabled로 설정한다. 이후 기존 스크립트의 dnf 도 이 저장소만 사용한다.

sudo dnf --disablerepo='*' --enablerepo=fullmoon-offline -y install \
 docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo systemctl enable --now docker
# 역할별 패키지도 동일한 repo 지정으로 먼저 설치한다.

Docker 반입 이미지 목록은 아래와 준비 완료한 Patroni 다. 각 RepoDigest/ImageID를 기록하고 tag 만 같은 다른 빌드를 섞지 않는다.

gcr.io/etcd-development/etcd:v3.7.1
redis:7.4-alpine
fullmoon/patroni:4.1.5-pg15
netboxcommunity/netbox:v4.7.1-5.1.1
zabbix/zabbix-server-pgsql:alpine-7.0.30
zabbix/zabbix-web-nginx-pgsql:alpine-7.0.30
zabbix/zabbix-proxy-sqlite3:alpine-7.0.30

K3s/AWX는 고정 버전 K3s binary·installer·k3s-airgap-images-amd64.tar.zst·공식 Operator 소스와 아래 이미지를 준비한다. Docker load는 K3s image import를 대신하지 않는다.

quay.io/ansible/awx-operator:2.19.1
quay.io/brancz/kube-rbac-proxy:v0.15.0
quay.io/ansible/awx:24.6.1
quay.io/ansible/awx-ee:24.6.1
docker.io/redis:7
localhost/fullmoon-ee:24.6.1-netbox3.23.0-r2

Operator가 만든 pod의 모든 container/initContainer 이미지도 준비 시험에서 확인한다. CR 외에 추가 이미지가 있으면 archive에 더한다. 외부 DB 이므로 Operator 관리 PostgreSQL은 배포하지 않는다. 모든 이미지를 pull/build 한 뒤 docker save로 저장한다.

# 준비 VM: 해당 이미지를 pull/build한 후 저장
sudo docker save -o offline/docker-images.tar \
 gcr.io/etcd-development/etcd:v3.7.1 redis:7.4-alpine \
 fullmoon/patroni:4.1.5-pg15 netboxcommunity/netbox:v4.7.1-5.1.1 \
 zabbix/zabbix-server-pgsql:alpine-7.0.30 \
 zabbix/zabbix-web-nginx-pgsql:alpine-7.0.30 \
 zabbix/zabbix-proxy-sqlite3:alpine-7.0.30
sudo docker save -o offline/awx-images.tar \
 quay.io/ansible/awx-operator:2.19.1 quay.io/brancz/kube-rbac-proxy:v0.15.0 \
 quay.io/ansible/awx:24.6.1 quay.io/ansible/awx-ee:24.6.1 \
 redis:7 localhost/fullmoon-ee:24.6.1-netbox3.23.0-r2
# 현장 Docker 노드
sudo docker load -i /mnt/fullmoon-offline/docker-images.tar
# ops01: k3s-selinux와 의존 RPM을 먼저 설치하고 반입 체크섬 검증
bash /opt/fullmoon-lab/source/config/install-k3s-offline.sh
sudo k3s ctr images import /mnt/fullmoon-offline/awx-images.tar
sudo k3s ctr images list

install-k3s-offline.sh는 /mnt/fullmoon-offline/{k3s,install-k3s.sh,k3s-airgap-images-amd64.tar.zst}를 읽는다. 같은 고정 버전과 공식 체크섬으로 준비한다. source/config/k3s-lab-dns.sh 도 실행한다. EE는 새 CA와 승인 known_hosts를 준비 VM에 전달해 온라인에서 빌드한 후 반입한다. 폐쇄망 Job 실행 중 Galaxy/pip에 연결하지 않는다.

Provision에 반입할 자료는 ISO의 .treeinfo·kernel/initrd·전체 rocky/설치 트리, packages/repodata와 Agent 2 RPM·의존성, GPG 공개키다. ISO가 Minimal/repodata를 사용하므로 BaseOS/AppStream 경로를 임의로 복사하지 않는다.

# 비밀이 없는 반입 offline 디렉터리에서 체크섬 목록 생성
find . -type f ! -name SHA256SUMS -print0 | sort -z | xargs -0 sha256sum > SHA256SUMS
# 현장 동일 구조에서 확인
sha256sum -c SHA256SUMS

처음부터 NAT가 없는 신규 관리 환경의 전체 설치 시험은 아직 미수행이다. 외부 NIC·DNS를 차단한 새 대상의 설치 시험과 같은 검증으로 표현하지 않는다.