Fullmoon System

No space left on device: 디스크·inode·삭제된 로그를 구분하는 진단

AI Editter

디스크를 비우려고 오래된 로그를 지웠는데 용량이 돌아오지 않거나, 며칠 뒤 같은 장애가 반복된다면 보관 정책과 로그를 쓰는 프로세스를 함께 봐야 합니다. 삭제 명령 하나보다 하루 생성량·보존 기간·회전 방식이 재발 여부를 결정합니다.

서버의 로그는 한 종류가 아닙니다. journald가 관리하는 journal, 앱이 직접 쓰는 파일, 컨테이너 런타임 로그, 원격 수집기의 버퍼를 나눠 조사합니다.

삭제하기 전에 용량과 inode를 따로 확인

먼저 오류가 난 경로가 어느 마운트에 속하는지 확인합니다. df -h /문제경로는 블록 공간, df -i /문제경로는 inode 사용량을 보여 줍니다. 작은 파일이 너무 많으면 GB가 남아도 새 파일을 만들지 못할 수 있습니다. df와 du가 크게 다르면 프로세스가 이미 삭제된 파일을 계속 열고 있는지도 lsof +L1 등으로 확인합니다.

파일을 많이 지우기 전에 어떤 서비스가 쓰는 파일인지, 보존 의무가 있는지 확인하세요. 열린 로그를 지워도 프로세스가 닫을 때까지 공간이 반환되지 않을 수 있습니다. 해당 서비스가 지원하는 로그 재열기·회전 절차를 사용하고 아래 보관량 설계로 재발을 막습니다.

용량 계획은 하루 평균과 장애 시 증가량으로

가상 예시로 하루 원본 로그가 2GiB이고 14일을 보관한다고 가정합니다. 오늘 2GiB는 압축하지 않고 이전 13일이 평균 25% 크기로 압축된다면 약 2+13×0.5=8.5GiB입니다. 여기에 회전 중 임시 공간과 장애 때의 급증 여유가 필요합니다.

변수예시 값주의점
하루 생성량2GiB평일·주말·장애일 차이
보존 기간14일업무·보안 요구에 맞게 결정
압축 비율25%실제 자료로 측정
현재 파일2GiB아직 압축되지 않은 공간
원격 버퍼별도 산정전송 중단 시간만큼 쌓일 수 있음

압축 비율은 보장값이 아닙니다. 이미 압축된 데이터나 높은 엔트로피의 값이 많은 로그는 덜 줄어듭니다. 법적 보존 기간을 이 예시 숫자로 대체하지 않습니다.

journal의 사용량과 제한 확인

journalctl --disk-usage

영구 journal을 쓰는 서버의 설정 예시는 다음과 같습니다. 배포판의 설정 파일과 drop-in 지원을 확인한 뒤 적용합니다.

[Journal]
SystemMaxUse=2G
SystemKeepFree=3G
MaxRetentionSec=14day

journald.conf 문서에 따라 크기 제한과 여유 공간 조건이 함께 적용됩니다. System 계열은 영구 저장, Runtime 계열은 휘발성 저장의 제한이라는 차이가 있습니다.

14일을 설정해도 공간이 먼저 부족하면 그보다 오래된 기록을 유지하지 못할 수 있습니다. 또 활성 파일은 정리 방식의 제약을 받으므로 설정 숫자를 파일시스템 전체의 절대 상한으로 해석하지 않습니다.

파일 로그는 앱의 reopen 동작과 맞춘다

logrotate의 rename 방식은 기존 파일을 옮긴 뒤 앱이 새 파일을 열어야 합니다. 앱이 옛 파일 디스크립터를 계속 사용하면 새 파일은 비어 있고 회전된 파일에 로그가 계속 쌓일 수 있습니다.

방식장점확인할 문제
rename 후 reopen지원 앱에서 정상적인 파일 교체올바른 신호·소유권·권한 필요
copytruncate앱 재열기 없이 사용 가능복사와 truncate 사이 기록 손실 가능
앱 자체 회전앱이 파일 수명 관리logrotate와 중복 회전하지 않는지

logrotate 매뉴얼의 copytruncate 설명처럼 손실 구간이 있을 수 있습니다. reopen을 지원하는 앱에 편의상 copytruncate를 쓰기 전에 정확한 서비스 동작을 확인합니다.

범용 예시의 postrotate 신호를 모든 앱에 복사하지 않습니다. Nginx, Java 앱, 사용자 작성 프로그램은 로그 재열기 방법이 다를 수 있습니다.

설정 검사와 실제 회전 시험을 구분

logrotate --debug /etc/logrotate.d/YOUR_APP

debug는 변경하지 않고 판단 내용을 확인하는 용도입니다. 실제 회전 시험은 시험 환경에서 수행하고, 회전 직전·직후에 식별 가능한 로그를 남겨 두 파일에 기록이 이어지는지 확인합니다.

파일 크기, 소유자, 권한, 앱의 열린 파일, 다음 주기의 회전 결과를 함께 봅니다. 삭제 후 공간이 돌아오지 않는 경우에는 삭제된 파일을 프로세스가 계속 열고 있는지 lsof +L1 같은 조회로 조사할 수 있습니다. 발견했다고 프로세스를 무조건 종료하기보다는 앱의 정상 reopen이나 재시작 절차를 선택합니다.

원격 전송은 끊겼을 때를 시험

로컬 로그가 회전되기 전에 수집기가 읽었는지, 파일 교체 후 새 파일을 따라가는지 확인합니다. 원격 장애 시 버퍼의 최대 크기와 초과 동작이 drop인지 block인지도 알아야 합니다.

시험 환경에서 전송을 잠시 중단하고 연속 번호가 있는 로그를 생성한 뒤 복구합니다. 수신 건수와 누락·중복을 비교하면 “연결됨” 상태만 보는 것보다 실제 보존 동작을 확인할 수 있습니다.

서버를 바꿔도 운영할 수 있도록 일일 생성량, 보존 조건, 최대 허용 사용량, 회전 담당 도구, 원격 장애 시 버퍼 한도를 한 표에 기록합니다. 디스크 사용률과 함께 로그 수집 지연을 관찰해야 공간 확보와 증거 보존을 동시에 관리할 수 있습니다.

관련 절차: 리눅스 No space left on device 해결 방법: 디스크·inode·삭제된 파일 진단