6376 words
32 minutes
[Iceberg]03. 테이블 유지보수: Expire, Compaction, Optimize, Orphan
  • Iceberg 테이블 운영 중 볼 수 있는 증상
    • 쿼리가 점점 느려짐
    • 스토리지가 계속 증가함
    • compaction을 돌렸는데 용량이 줄지 않음
  • 원인은 유지보수 작업 누락
  • 여기서 다루는 내용
    • Iceberg 유지보수 작업: Expire Snapshots, Compaction, Optimize, Remove Orphan Files

1. Iceberg는 파일을 수정하지 않음#

  • 네 작업 모두 한 가지 사실에서 출발

Iceberg는 기존 파일을 고치지 않고, 커밋할 때마다 새 파일을 만든다.

1.1 Iceberg 파일 계층#

Terminal window
Catalog ← 현재 metadata.json 위치를 가리키는 포인터
└─ metadata.json ← 스키마, 파티션 스펙, 스냅샷들의 목록
└─ manifest list ← 스냅샷당 1개 (snap-*.avro)
└─ manifest ← 데이터 파일 목록 + 컬럼 통계 (*.avro)
└─ data / delete files ← Parquet, 삭제 파일

1.2 커밋 한 번에 일어나는 일#

  • INSERT 1회(커밋 1회)마다 아래 파일이 새로 생성됨
    1. 새 데이터 파일 (Parquet)
    2. 그 파일을 가리키는 새 manifest
    3. 새 manifest list (= 새 스냅샷)
    4. 새 metadata.json
    5. 마지막으로 catalog 포인터를 새 metadata.json으로 원자적 교체
  • 예전 파일은 그대로 남음
    • 덕분에 time travel, rollback이 가능
    • 반대로 아무것도 하지 않으면 기본적으로 파일은 늘어나기만 함

1.3 Git 비유#

IcebergGit 비유
스냅샷커밋
Expire snapshots오래된 히스토리를 잘라내고 git gc
Compaction자잘한 결과물을 큰 덩어리로 재정리
Rewrite manifests인덱스(목차) 재정리
Remove orphan files어떤 커밋에도 속하지 않는 untracked 파일 청소

1.4 세 가지 문제#

문제원인해결 작업
스토리지과거 스냅샷이 옛 파일을 계속 참조Expire snapshots
성능작은 파일, delete 파일, manifest 누적Compaction, Rewrite manifests
쓰레기실패한 작업이 남긴 미참조 파일Remove orphan files

Concept

  • Immutable File Layout : 기존 파일을 수정하지 않고 변경분을 새 파일로 기록하는 저장 방식. 이력 보존이 공짜인 대신 정리 작업이 별도로 필요
  • Snapshot : 특정 커밋 시점의 테이블 전체 상태. manifest list 하나로 표현되며 time travel·rollback의 단위
  • Atomic Pointer Swap : catalog가 가리키는 metadata.json 위치를 한 번에 교체해 커밋을 완료하는 방식. 교체 전까지 쓴 파일은 테이블에 보이지 않음
  • Metadata Tree : catalog → metadata.json → manifest list → manifest → data file로 이어지는 계층 구조. 쿼리 플래닝이 이 트리를 따라 읽을 파일을 결정함

2. Expire Snapshots#

2.1 개념#

  • 지정 시점보다 오래된 스냅샷을 메타데이터에서 제거
  • 이후 남은 어떤 스냅샷도 참조하지 않게 된 데이터 파일, manifest, manifest list를 물리적으로 삭제
  • 핵심: “스냅샷을 지운다 ≠ 그 스냅샷이 만든 파일을 지운다”
    • S1이 파일 A를 추가했고, 현재 스냅샷에서도 A가 테이블에 있다면 S1을 expire해도 A는 유지
    • 삭제 기준은 “누가 만들었나”가 아니라 “지금 누가 참조하나”

2.2 예시#

S1: 파일 A, B 추가
S2: 파일 C 추가
S3: compaction → A, B, C를 D로 재작성 (현재 테이블 = D)
  • S3 이후에도 A, B, C는 디스크에 그대로 존재 → S1, S2를 time travel로 읽을 수 있어야 하기 때문
  • S1, S2를 expire하는 순간 A, B, C를 참조하는 스냅샷이 사라지므로 그때 삭제
  • 그래서 compaction만 하고 expire를 하지 않으면 스토리지는 오히려 증가 → 실무에서 가장 흔한 오해

2.3 사용법#

-- Spark
CALL catalog.system.expire_snapshots(
table => 'db.tbl',
older_than => TIMESTAMP '2026-09-29 00:00:00',
retain_last => 10
);
-- Trino
ALTER TABLE db.tbl EXECUTE expire_snapshots(retention_threshold => '7d');
  • 관련 테이블 속성
    • history.expire.max-snapshot-age-ms : 기본 보관 기간 (기본 5일)
    • history.expire.min-snapshots-to-keep : 최소 유지 스냅샷 수 (기본 1)
    • 브랜치/태그별로 max-snapshot-age-ms, min-snapshots-to-keep, max-ref-age-ms 개별 지정 가능
    • 태그가 걸린 스냅샷은 expire 대상에서 제외

2.4 고려사항#

  1. 보관 기간 = time travel·rollback 가능 범위
    • “장애 시 며칠 전까지 되돌려야 하나?”로 결정
  2. 증분 소비자 보호
    • incremental read, Spark/Flink 스트리밍 소스, CDC 소비자가 아직 읽지 않은 스냅샷을 expire하면 실패하거나 데이터를 건너뜀
    • 가장 느린 소비자의 지연보다 길게 설정
  3. 장시간 쿼리
    • 읽고 있던 스냅샷의 파일이 삭제되면 FileNotFound로 실패 가능
  4. metadata.json은 expire가 지우지 않음
    • write.metadata.delete-after-commit.enabled=true, write.metadata.previous-versions-max(기본 100)로 별도 관리
  5. 삭제 비용
    • 오브젝트 스토리지의 대량 delete는 느리고 비용 발생
    • Spark에서는 max_concurrent_deletes로 병렬도 조절
  6. Trino 최소 보관 기간
    • iceberg.expire-snapshots.min-retention(기본 7d)보다 짧은 값은 거부
    • 안전장치이므로 함부로 낮추지 않는 것이 좋음

Concept

  • Expire Snapshots : 보관 기간이 지난 스냅샷을 메타데이터에서 제거하고, 더 이상 참조되지 않는 파일을 물리 삭제하는 작업. 스토리지 회수의 실질적 주체
  • Reference-based Deletion : 파일 삭제 여부를 생성 주체가 아닌 현재 참조 여부로 판단하는 원칙. 오래된 스냅샷이 만든 파일이라도 현재 테이블에 있으면 유지됨
  • Retention Window : 스냅샷을 보관하는 기간. time travel·rollback 가능 범위이자 증분 소비자가 따라올 수 있는 최대 지연
  • Snapshot Tag : 특정 스냅샷에 이름을 붙여 고정하는 참조. 태그된 스냅샷은 expire되지 않아 감사·재현용 시점 보존에 사용
  • Metadata File Retention : metadata.json 이력은 expire 대상이 아니며 write.metadata.* 속성으로 별도 정리해야 함. 방치하면 메타데이터 디렉터리가 계속 증가

3. Compaction (rewrite_data_files)#

3.1 개념#

  • 작은 파일 여러 개를 읽어 목표 크기의 큰 파일로 다시 쓰고, 새 스냅샷(operation = replace)으로 커밋
  • 데이터 내용은 그대로, 파일 배치만 변경

3.2 왜 하는가#

  • Small file 문제
    • 스트리밍·마이크로배치는 작은 파일을 대량 생성
    • 파일마다 열기, 메타 조회, Parquet footer 읽기 오버헤드 발생 → 같은 데이터라도 파일 수가 많으면 느림
  • Delete 파일 누적 (Merge-on-Read)
    • MoR 모드의 DELETE/UPDATE/MERGE는 원본 대신 position/equality delete 파일(v3에서는 deletion vector)을 기록
    • 읽을 때마다 원본과 삭제 파일을 합쳐야 하므로 쌓일수록 느려짐
    • Compaction이 삭제 내용을 원본에 반영
  • 정렬/클러스터링
    • 자주 필터하는 컬럼으로 정렬하면 파일별 min/max 통계 범위가 좁아짐 → 파일 스킵 효율 상승

3.3 전략#

전략동작언제
binpack (기본)크기만 맞춰 병합, 정렬 없음가장 저렴. small file 해소 목적
sort지정 컬럼으로 정렬하며 재작성특정 컬럼 필터가 잦을 때
zorder여러 컬럼 다차원 클러스터링2~4개 컬럼을 번갈아 필터할 때
  • sort, zorder는 셔플이 발생해 binpack보다 훨씬 비쌈

3.4 사용법#

CALL catalog.system.rewrite_data_files(
table => 'db.tbl',
strategy => 'binpack',
where => 'event_date >= ''2026-10-01''',
options => map(
'target-file-size-bytes', '536870912',
'min-input-files', '5',
'partial-progress.enabled', 'true',
'delete-file-threshold', '3'
)
);
옵션의미
target-file-size-bytes목표 파일 크기 (기본은 write.target-file-size-bytes, 512MB)
min-file-size-bytes / max-file-size-bytes목표의 75% 미만, 180% 초과 파일을 재작성 대상으로 판단
min-input-files그룹 내 파일이 이 개수 이상일 때만 재작성 (기본 5)
delete-file-threshold연결된 delete 파일이 이 개수 이상이면 크기와 무관하게 재작성
partial-progress.enabled파일 그룹 단위로 나눠 여러 번 커밋, 실패·충돌 범위 축소
rewrite-all조건 무시하고 전부 재작성
  • delete 파일만 정리하는 rewrite_position_delete_files 프로시저도 존재

3.5 고려사항#

  1. 동시성 충돌
    • Iceberg는 낙관적 동시성 제어 → 재작성 중인 파일을 다른 작업이 DELETE/UPDATE로 건드리면 compaction 커밋 실패
    • 단순 append는 충돌하지 않음
    • where로 쓰기가 끝난 파티션만 대상으로 하는 것이 정석 (충돌 원리는 동시쓰기와 커밋 충돌 참고)
  2. 스토리지 일시 증가
    • expire 전까지 옛 파일이 남음
  3. 비용
    • 데이터를 전부 읽고 다시 쓰는 작업 → 전체 테이블보다 최근 파티션 위주로 증분 실행
  4. CoW vs MoR
    • Copy-on-Write : delete 파일 문제가 거의 없음 → small file 해소 목적
    • Merge-on-Read : compaction이 사실상 필수
  5. target 크기
    • 너무 크면 병렬 읽기 감소, 너무 작으면 small file 잔존
    • 보통 128MB~512MB 범위에서 쿼리 패턴에 맞춤

Concept

  • Compaction : 작은 파일들을 목표 크기의 큰 파일로 재작성해 replace 스냅샷으로 커밋하는 작업. 데이터 내용은 그대로 두고 물리 배치만 바꿈
  • Small File Problem : 파일 수가 많을수록 open·메타 조회·footer 읽기 오버헤드가 누적되어 같은 데이터량이라도 읽기가 느려지는 현상. 스트리밍·마이크로배치 적재의 대표적 부작용
  • Merge-on-Read (MoR) : 변경 시 원본을 다시 쓰지 않고 delete 파일을 따로 기록한 뒤 읽을 때 병합하는 방식. 쓰기는 빠르지만 compaction 없이는 읽기가 점점 느려짐
  • Copy-on-Write (CoW) : 변경이 생긴 데이터 파일을 통째로 다시 쓰는 방식. 쓰기 비용이 크지만 읽기 시 병합이 필요 없음
  • Bin-packing : 정렬 없이 파일 크기만 맞춰 묶는 병합 전략. 가장 저렴하며 small file 해소가 목적일 때 기본 선택
  • Z-order Clustering : 여러 컬럼 값을 비트 인터리빙으로 섞어 다차원적으로 가까운 행을 같은 파일에 모으는 정렬. 여러 컬럼을 번갈아 필터할 때 파일 스킵 효율을 높임
  • Optimistic Concurrency Control : 락 없이 작업한 뒤 커밋 시점에 충돌을 검사하는 동시성 제어. compaction은 같은 파일을 건드린 DELETE/UPDATE와 충돌하므로 닫힌 파티션만 대상으로 함

4. Optimize#

4.1 용어 정리#

  • Iceberg 스펙에는 “optimize”라는 프로시저가 없음 → 엔진들이 compaction을 부르는 이름
엔진명령실체
TrinoALTER TABLE t EXECUTE optimize(file_size_threshold => '128MB')binpack compaction
AthenaOPTIMIZE t REWRITE DATA USING BIN_PACKbinpack compaction
Spark별도 optimize 없음rewrite_data_files + rewrite_manifests
AWS Glue / S3 Tables테이블 optimizer (자동)compaction, expire, orphan 삭제 자동 실행
  • 넓은 의미의 optimize = 데이터 파일 최적화(compaction) + 메타데이터 최적화(rewrite manifests)
  • 이 장에서는 메타데이터 쪽을 다룸

4.2 Rewrite Manifests#

  • 데이터 파일은 그대로 두고 manifest만 다시 써서 개수를 줄이고 파티션 기준으로 재그룹핑
  • 쿼리 플래닝 순서 : manifest list → manifest → 파티션/통계 필터 → 읽을 파일 결정
  • 커밋이 잦으면 manifest가 커밋마다 하나씩 생성되어
    • 플래닝 때 열어야 할 manifest가 수천 개로 증가
    • 한 manifest에 여러 파티션이 섞여 파티션 필터로 건너뛰지 못함
  • 증상 : “스캔은 금방인데 쿼리 시작 전 플래닝이 몇 초~수십 초 걸림”
CALL catalog.system.rewrite_manifests('db.tbl');
-- Trino 최신 버전에는 optimize_manifests도 있음 (사용 버전에서 지원 여부 확인 필요)

4.3 고려사항#

  1. 데이터를 다시 쓰지 않아 compaction보다 훨씬 가벼움
  2. 커밋 시 자동 병합 설정
    • commit.manifest-merge.enabled, commit.manifest.target-size-bytes(기본 8MB), commit.manifest.min-count-to-merge
    • 단, 스트리밍 쓰기는 fast append를 쓰는 경우가 많아 주기 실행이 필요
  3. compaction 이후 실행하면 효과가 큼
  4. 새 스냅샷을 만들고, 옛 manifest는 expire 때 삭제

Concept

  • Optimize : 엔진이 compaction(과 경우에 따라 manifest 정리)을 묶어 부르는 이름. Iceberg 스펙 용어가 아니므로 엔진별 실체를 확인해야 함
  • Rewrite Manifests : 데이터 파일은 그대로 두고 manifest만 재작성해 개수를 줄이고 파티션 단위로 재그룹핑하는 작업. 플래닝 지연의 1차 처방
  • Query Planning Overhead : 실제 스캔 전 메타데이터를 읽어 대상 파일을 결정하는 데 드는 시간. manifest가 많고 파티션이 섞여 있을수록 증가
  • Fast Append : 기존 manifest를 병합하지 않고 새 manifest를 추가만 하는 커밋 방식. 커밋은 빠르지만 manifest가 누적됨
  • Partition Pruning : manifest와 파일의 파티션 값·통계로 읽을 필요 없는 파일을 건너뛰는 최적화. manifest에 여러 파티션이 섞이면 효율이 떨어짐

5. Remove Orphan Files#

5.1 개념#

  • 테이블 디렉터리를 실제로 리스팅한 결과와 모든 유효 메타데이터가 참조하는 파일 목록을 비교
  • 어디에도 참조되지 않는 파일을 삭제
Expire snapshotsRemove orphan files
방식메타데이터를 따라가며 삭제디렉터리를 뒤져서 비교
대상메타데이터에 기록된 적 있는 파일기록된 적 없거나 기록이 사라진 파일

5.2 Orphan이 생기는 이유#

  • 데이터 파일을 쓴 뒤 커밋 전에 실패하거나 kill된 작업 (가장 흔함)
  • 커밋 충돌 재시도가 최종 실패한 경우
  • Spark speculative execution의 중복 출력
  • expire가 메타데이터 갱신 후 파일 삭제 도중 실패한 경우
  • 이 파일들은 어떤 스냅샷에도 없으므로 expire로는 절대 지워지지 않음

5.3 사용법#

-- 반드시 dry run 먼저
CALL catalog.system.remove_orphan_files(
table => 'db.tbl',
older_than => TIMESTAMP '2026-09-29 00:00:00',
dry_run => true
);
-- Trino
ALTER TABLE db.tbl EXECUTE remove_orphan_files(retention_threshold => '7d');

5.4 고려사항 (네 작업 중 가장 위험)#

  1. older_than이 생명줄
    • 진행 중인 쓰기 작업의 파일은 커밋 전이라 orphan처럼 보임
    • 이를 지우면 커밋 순간 존재하지 않는 파일을 참조하는 깨진 테이블이 됨
    • 가장 오래 걸리는 쓰기 작업보다 충분히 길게 설정 (기본 3일, 실무에서는 3~7일)
  2. 항상 dry_run으로 먼저 확인
  3. 경로 표기 불일치
    • 메타데이터는 s3://, 리스팅은 s3a://처럼 다르면 정상 파일이 전부 orphan으로 판정될 수 있음
    • Spark의 equal_schemes, equal_authorities, prefix_mismatch_mode(기본 ERROR)로 제어
    • prefix_mismatch_mode를 DELETE로 바꾸는 건 매우 신중해야 함
  4. 테이블 위치 공유 금지
    • 두 테이블이 같은 디렉터리나 상하위 디렉터리를 쓰면 서로의 파일이 orphan으로 보임
  5. 리스팅 비용
    • 파일이 수백만 개면 S3 리스팅이 느리고 비쌈
    • 자주 돌리지 말고, 필요하면 S3 Inventory 등을 file_list_view로 넘겨 리스팅을 대체
  6. orphan 대량 발생 = 작업 실패가 잦다는 신호 → 파이프라인 점검

Concept

  • Orphan File : 테이블 디렉터리에 존재하지만 어떤 유효 메타데이터도 참조하지 않는 파일. 주로 커밋 전에 실패한 쓰기 작업의 잔해
  • Remove Orphan Files : 디렉터리 리스팅 결과와 메타데이터 참조 목록을 비교해 미참조 파일을 삭제하는 작업. 메타데이터를 따라가는 expire와 달리 스토리지를 직접 뒤짐
  • Grace Period (older_than) : 최근에 생성된 파일을 삭제 대상에서 제외하는 안전 기간. 진행 중인 쓰기의 미커밋 파일을 보호하며, 가장 긴 쓰기 작업보다 길어야 함
  • Dry Run : 실제 삭제 없이 삭제 대상 목록만 출력하는 실행 모드. 되돌릴 수 없는 정리 작업 전 필수 확인 절차
  • Path Scheme Mismatch : 같은 파일이 s3://와 s3a://처럼 다른 스킴·authority로 표기되는 현상. 비교 기반 정리에서 정상 파일을 orphan으로 오판하게 만듦
  • Speculative Execution : 느린 태스크를 다른 노드에서 중복 실행해 먼저 끝난 결과를 채택하는 기법. 채택되지 않은 쪽의 출력 파일이 orphan으로 남을 수 있음

6. 실행 순서와 주기#

  • 권장 순서
Compaction → Rewrite manifests → Expire snapshots → Remove orphan files
  1. Compaction이 옛 작은 파일을 논리적으로 교체
  2. Rewrite manifests가 정리된 파일 기준으로 목차를 다시 생성
  3. Expire가 옛 스냅샷을 잘라내며 1, 2에서 교체된 파일을 물리적으로 삭제
  4. Orphan 삭제가 남은 쓰레기(실패 작업 잔해)를 청소
  • expire를 먼저 하면 그 뒤 compaction이 만든 옛 파일은 다음 expire 주기까지 남음
작업해결 문제새 스냅샷데이터 재작성위험도일반적 주기
Compaction읽기 성능OO중 (충돌)시간~일 단위
Rewrite manifests플래닝 성능OX낮음일~주 단위
Expire snapshots스토리지, 메타 비대XX중 (time travel 상실)일 단위
Remove orphan files쓰레기 파일XX높음주 단위

Concept

  • Logical Replace vs Physical Delete : compaction·rewrite manifests는 새 스냅샷에서 파일을 논리적으로 교체할 뿐이고, 실제 삭제는 expire가 수행함. 둘을 함께 돌려야 성능과 스토리지가 모두 개선됨
  • Maintenance Ordering : compaction → rewrite manifests → expire → orphan 순으로 실행해 앞 단계가 만든 교체 파일을 같은 주기 안에 회수하는 원칙. 순서가 바뀌면 회수가 한 주기 밀림
  • Risk-based Scheduling : 되돌릴 수 없는 작업일수록 빈도를 낮추고 안전장치를 두는 운영 원칙. orphan 삭제는 주 단위·dry run, compaction은 시간~일 단위로 운영

7. 실전: CSV → Bronze Iceberg 연속 적재 파이프라인#

  • CSV를 Bronze 테이블에 계속 적재하는 파이프라인 = append-only + 잦은 커밋 패턴
    • DELETE/UPDATE가 없으므로 delete 파일 문제는 거의 없음 (MERGE로 upsert한다면 달라짐)
    • 대신 적재마다 스냅샷, manifest, metadata.json 1개와 작은 데이터 파일 여러 개가 생성
  • 해결할 문제는 세 가지
    • small file
    • 스냅샷·메타데이터 누적
    • 실패 적재의 잔해

7.1 쓰기 단계에서 먼저 줄이기#

  • 유지보수보다 발생량을 줄이는 설정이 우선
  • 커밋 단위 확대
    • CSV 파일 하나당 커밋하면 스냅샷이 폭증
    • 몇 분 단위 또는 N개 파일 단위로 모아서 커밋
  • metadata 자동 정리와 쓰기 분배 설정
ALTER TABLE bronze.tbl SET TBLPROPERTIES (
'write.metadata.delete-after-commit.enabled' = 'true',
'write.metadata.previous-versions-max' = '100',
'write.distribution-mode' = 'hash',
'write.target-file-size-bytes' = '268435456'
);
  • 파티션을 과하게 쪼개지 않기
    • 적재 일자(ingest_date) 정도가 적당
    • 시간 단위나 고카디널리티 컬럼으로 파티션하면 커밋마다 파티션 수만큼 작은 파일 생성

7.2 주기적 유지보수#

작업이 파이프라인에서의 의미필수 여부권장 주기
Compaction (binpack)적재마다 생긴 작은 파일 병합필수일 1회, 닫힌 파티션 대상
Rewrite manifests커밋마다 생긴 manifest 병합필수에 가까움일~주 1회
Expire snapshots적재 스냅샷 정리 + 옛 파일 실제 삭제필수일 1회
Remove orphan files실패 적재 잔해 정리필수 (낮은 빈도)주 1회
-- 1) 어제까지의 닫힌 파티션만 binpack
CALL catalog.system.rewrite_data_files(
table => 'bronze.tbl',
where => 'ingest_date < current_date()',
options => map('min-input-files', '5', 'partial-progress.enabled', 'true')
);
-- 2) manifest 정리
CALL catalog.system.rewrite_manifests('bronze.tbl');
-- 3) 스냅샷 정리
CALL catalog.system.expire_snapshots(
table => 'bronze.tbl',
older_than => current_timestamp() - INTERVAL 3 DAYS,
retain_last => 50
);
-- 4) 주 1회, dry run으로 먼저 확인
CALL catalog.system.remove_orphan_files(
table => 'bronze.tbl',
older_than => current_timestamp() - INTERVAL 3 DAYS,
dry_run => true
);
  • append-only 테이블에서는 compaction과 적재가 동시에 돌아도 충돌하지 않음
    • 적재는 파일을 추가만 하고, compaction은 기존 파일만 교체하기 때문
  • 다만 오늘 파티션은 파일이 계속 들어와 반복 병합 낭비가 생김 → 닫힌 파티션만 대상

7.3 특히 조심할 점#

  • Silver가 Bronze를 증분으로 읽는다면 expire 보관 기간 > Silver의 최대 지연
    • Silver가 하루 멈췄다 재개할 때 그 사이 스냅샷이 사라져 있으면 실패하거나 데이터를 건너뜀
  • Compaction 스냅샷이 Silver에 중복으로 흘러가지 않는지 확인
    • compaction은 replace 타입 스냅샷이라 증분 append 읽기나 스트리밍 읽기는 일반적으로 이를 건너뜀
    • 단, 엔진·버전과 읽기 방식에 따라 동작 확인 필요
  • Orphan의 older_than은 가장 긴 적재 작업보다 넉넉하게
    • 대용량 백필이 있다면 그 기준으로 설정

7.4 유지보수는 아니지만 사실상 필수인 것#

  • 멱등성(중복 적재 방지)
    • 재시도 시 같은 CSV가 두 번 들어가지 않도록 적재한 파일 목록을 관리
    • _source_file, _ingested_at 컬럼을 두고, 커밋 시 스냅샷 속성(Spark의 snapshot-property.* 옵션)으로 소스 정보를 남기면 추적과 재처리가 쉬워짐
  • 스키마 드리프트 대비
    • CSV는 컬럼 추가, 순서 변경, 타입 흔들림이 잦음
    • Bronze는 문자열 위주로 관대하게 받고, 타입 캐스팅은 Silver에서 하는 편이 적재 실패를 줄임
  • 원본 CSV 보관 정책
    • 적재된 원본은 archive 경로로 옮기고 수명 주기 규칙으로 정리
  • small file을 쓰기·정리 양쪽에서 다루는 일반 패턴은 Data Compaction 패턴 참고

Concept

  • Commit Batching : 여러 입력을 모아 한 번에 커밋해 스냅샷·manifest·metadata 생성량을 줄이는 기법. 유지보수 부담을 발생 단계에서 낮추는 1차 대책
  • Closed Partition : 더 이상 새 데이터가 들어오지 않는 파티션. compaction 대상을 여기로 한정하면 반복 병합 낭비와 커밋 충돌을 피할 수 있음
  • Over-partitioning : 시간 단위·고카디널리티 컬럼처럼 파티션을 지나치게 잘게 나눈 상태. 커밋마다 파티션 수만큼 작은 파일이 생겨 small file 문제를 증폭시킴
  • Replace Snapshot : 데이터 내용 변경 없이 파일 배치만 바꾼 스냅샷 유형. 증분 소비자는 보통 이를 건너뛰어 compaction 결과가 중복 처리되지 않음
  • Idempotent Ingestion : 같은 입력을 여러 번 적재해도 결과가 한 번 적재한 것과 같도록 보장하는 설계. 재시도가 잦은 파일 적재 파이프라인의 전제 조건
  • Schema Drift : 원천 데이터의 컬럼 구성·순서·타입이 예고 없이 바뀌는 현상. Bronze는 관대하게 받고 Silver에서 타입을 강제하는 방식으로 흡수

8. 운영 체크리스트#

  • 유지보수를 붙이기 전에 아래 질문에 답할 수 있어야 함

  • 며칠 전까지 rollback/time travel이 필요한가? → expire 보관 기간

  • 이 테이블을 증분으로 읽는 소비자가 있나? 최대 지연은? → expire 보관 기간 하한

  • 가장 오래 걸리는 쓰기 작업은 몇 시간인가? → orphan older_than 하한

  • CoW인가 MoR인가? → compaction 필요성과 주기

  • 지금 쓰기가 일어나는 파티션은 어디인가? → compaction where 범위

  • metadata.json 자동 정리 속성이 켜져 있나?

  • 테이블 location이 다른 테이블과 겹치지 않고, 경로 스킴이 일관적인가?

9. 셀프 체크#

  • Q1. compaction만 매일 돌리고 expire를 안 하면 스토리지는?
    • 오히려 증가. 옛 파일은 과거 스냅샷이 계속 참조하므로 expire 전까지 삭제되지 않음
  • Q2. S1이 추가한 파일 A가 현재도 테이블에 있다면, S1을 expire할 때 A는?
    • 유지. 삭제 기준은 현재 참조 여부
  • Q3. orphan 삭제의 older_than을 1시간으로 잡으면?
    • 진행 중인 쓰기의 미커밋 파일이 삭제되어 테이블이 깨질 수 있음
  • Q4. 스캔은 빠른데 플래닝만 느리다면?
    • manifest 문제를 의심하고 rewrite manifests를 먼저 고려
  • Q5. Trino의 optimize는?
    • binpack 방식의 데이터 파일 compaction

Iceberg 유지보수를 이해한다는 것은 Compaction은 성능(Performance), Expire는 스토리지(Storage), Orphan 삭제는 청소(Cleanup)를 담당하며 서로 대체할 수 없다는 것, 그리고 보관 기간을 rollback 요구와 하위 증분 소비자의 지연으로 정할 수 있다는 의미

  • 기본값과 파라미터 이름은 Iceberg 및 엔진 버전에 따라 달라질 수 있으므로, 적용 전 사용 중인 버전의 공식 문서 확인 필요

추가적으로 공부하면 좋은 컨셉, 주제들#

  • Deletion Vector (Iceberg v3) : position delete 파일 대신 데이터 파일별 비트맵으로 삭제 행을 표시하는 방식. delete 파일 누적 문제를 구조적으로 완화
  • Equality Delete vs Position Delete : 조건 값으로 삭제를 표현하는 방식과 파일·행 위치로 표현하는 방식. Flink CDC 등 스트리밍 upsert에서 equality delete가 쌓이는 이유
  • Branch & Tag (WAP 패턴) : 브랜치에 먼저 쓰고 검증 후 main에 반영하는 Write-Audit-Publish 패턴과 브랜치별 보관 정책
  • Table Optimizer 자동화 : AWS Glue/S3 Tables, Snowflake·Databricks 관리형 카탈로그의 자동 유지보수와 직접 스케줄링의 트레이드오프
  • Metadata Tables : snapshots, files, manifests, partitions 메타데이터 테이블로 파일 수·크기 분포를 조회해 유지보수 필요 시점을 판단하는 방법
  • Incremental Read / Changelog View : 스냅샷 범위로 변경분만 읽는 방식과 expire 보관 기간의 관계
[Iceberg]03. 테이블 유지보수: Expire, Compaction, Optimize, Orphan
https://yjinheon.netlify.app/posts/02de/00-storage/iceberg-03-maintenance/
Author
Datamind
Published at
2026-10-24
License
CC BY-NC-SA 4.0