6376 words
32 minutes
[Iceberg]03. 테이블 유지보수: Expire, Compaction, Optimize, Orphan
- Iceberg 테이블 운영 중 볼 수 있는 증상
- 쿼리가 점점 느려짐
- 스토리지가 계속 증가함
- compaction을 돌렸는데 용량이 줄지 않음
- 원인은 유지보수 작업 누락
- 여기서 다루는 내용
- Iceberg 유지보수 작업: Expire Snapshots, Compaction, Optimize, Remove Orphan Files
1. Iceberg는 파일을 수정하지 않음
- 네 작업 모두 한 가지 사실에서 출발
Iceberg는 기존 파일을 고치지 않고, 커밋할 때마다 새 파일을 만든다.
1.1 Iceberg 파일 계층
Catalog ← 현재 metadata.json 위치를 가리키는 포인터 └─ metadata.json ← 스키마, 파티션 스펙, 스냅샷들의 목록 └─ manifest list ← 스냅샷당 1개 (snap-*.avro) └─ manifest ← 데이터 파일 목록 + 컬럼 통계 (*.avro) └─ data / delete files ← Parquet, 삭제 파일1.2 커밋 한 번에 일어나는 일
- INSERT 1회(커밋 1회)마다 아래 파일이 새로 생성됨
- 새 데이터 파일 (Parquet)
- 그 파일을 가리키는 새 manifest
- 새 manifest list (= 새 스냅샷)
- 새 metadata.json
- 마지막으로 catalog 포인터를 새 metadata.json으로 원자적 교체
- 예전 파일은 그대로 남음
- 덕분에 time travel, rollback이 가능
- 반대로 아무것도 하지 않으면 기본적으로 파일은 늘어나기만 함
1.3 Git 비유
| Iceberg | Git 비유 |
|---|---|
| 스냅샷 | 커밋 |
| Expire snapshots | 오래된 히스토리를 잘라내고 git gc |
| Compaction | 자잘한 결과물을 큰 덩어리로 재정리 |
| Rewrite manifests | 인덱스(목차) 재정리 |
| Remove orphan files | 어떤 커밋에도 속하지 않는 untracked 파일 청소 |
1.4 세 가지 문제
| 문제 | 원인 | 해결 작업 |
|---|---|---|
| 스토리지 | 과거 스냅샷이 옛 파일을 계속 참조 | Expire snapshots |
| 성능 | 작은 파일, delete 파일, manifest 누적 | Compaction, Rewrite manifests |
| 쓰레기 | 실패한 작업이 남긴 미참조 파일 | Remove orphan files |
Concept
- Immutable File Layout : 기존 파일을 수정하지 않고 변경분을 새 파일로 기록하는 저장 방식. 이력 보존이 공짜인 대신 정리 작업이 별도로 필요
- Snapshot : 특정 커밋 시점의 테이블 전체 상태. manifest list 하나로 표현되며 time travel·rollback의 단위
- Atomic Pointer Swap : catalog가 가리키는 metadata.json 위치를 한 번에 교체해 커밋을 완료하는 방식. 교체 전까지 쓴 파일은 테이블에 보이지 않음
- Metadata Tree : catalog → metadata.json → manifest list → manifest → data file로 이어지는 계층 구조. 쿼리 플래닝이 이 트리를 따라 읽을 파일을 결정함
2. Expire Snapshots
2.1 개념
- 지정 시점보다 오래된 스냅샷을 메타데이터에서 제거
- 이후 남은 어떤 스냅샷도 참조하지 않게 된 데이터 파일, manifest, manifest list를 물리적으로 삭제
- 핵심: “스냅샷을 지운다 ≠ 그 스냅샷이 만든 파일을 지운다”
- S1이 파일 A를 추가했고, 현재 스냅샷에서도 A가 테이블에 있다면 S1을 expire해도 A는 유지
- 삭제 기준은 “누가 만들었나”가 아니라 “지금 누가 참조하나”
2.2 예시
S1: 파일 A, B 추가S2: 파일 C 추가S3: compaction → A, B, C를 D로 재작성 (현재 테이블 = D)- S3 이후에도 A, B, C는 디스크에 그대로 존재 → S1, S2를 time travel로 읽을 수 있어야 하기 때문
- S1, S2를 expire하는 순간 A, B, C를 참조하는 스냅샷이 사라지므로 그때 삭제
- 그래서 compaction만 하고 expire를 하지 않으면 스토리지는 오히려 증가 → 실무에서 가장 흔한 오해
2.3 사용법
-- SparkCALL catalog.system.expire_snapshots( table => 'db.tbl', older_than => TIMESTAMP '2026-09-29 00:00:00', retain_last => 10);
-- TrinoALTER TABLE db.tbl EXECUTE expire_snapshots(retention_threshold => '7d');- 관련 테이블 속성
history.expire.max-snapshot-age-ms: 기본 보관 기간 (기본 5일)history.expire.min-snapshots-to-keep: 최소 유지 스냅샷 수 (기본 1)- 브랜치/태그별로
max-snapshot-age-ms,min-snapshots-to-keep,max-ref-age-ms개별 지정 가능 - 태그가 걸린 스냅샷은 expire 대상에서 제외
2.4 고려사항
- 보관 기간 = time travel·rollback 가능 범위
- “장애 시 며칠 전까지 되돌려야 하나?”로 결정
- 증분 소비자 보호
- incremental read, Spark/Flink 스트리밍 소스, CDC 소비자가 아직 읽지 않은 스냅샷을 expire하면 실패하거나 데이터를 건너뜀
- 가장 느린 소비자의 지연보다 길게 설정
- 장시간 쿼리
- 읽고 있던 스냅샷의 파일이 삭제되면 FileNotFound로 실패 가능
- metadata.json은 expire가 지우지 않음
write.metadata.delete-after-commit.enabled=true,write.metadata.previous-versions-max(기본 100)로 별도 관리
- 삭제 비용
- 오브젝트 스토리지의 대량 delete는 느리고 비용 발생
- Spark에서는
max_concurrent_deletes로 병렬도 조절
- Trino 최소 보관 기간
iceberg.expire-snapshots.min-retention(기본 7d)보다 짧은 값은 거부- 안전장치이므로 함부로 낮추지 않는 것이 좋음
Concept
- Expire Snapshots : 보관 기간이 지난 스냅샷을 메타데이터에서 제거하고, 더 이상 참조되지 않는 파일을 물리 삭제하는 작업. 스토리지 회수의 실질적 주체
- Reference-based Deletion : 파일 삭제 여부를 생성 주체가 아닌 현재 참조 여부로 판단하는 원칙. 오래된 스냅샷이 만든 파일이라도 현재 테이블에 있으면 유지됨
- Retention Window : 스냅샷을 보관하는 기간. time travel·rollback 가능 범위이자 증분 소비자가 따라올 수 있는 최대 지연
- Snapshot Tag : 특정 스냅샷에 이름을 붙여 고정하는 참조. 태그된 스냅샷은 expire되지 않아 감사·재현용 시점 보존에 사용
- Metadata File Retention : metadata.json 이력은 expire 대상이 아니며
write.metadata.*속성으로 별도 정리해야 함. 방치하면 메타데이터 디렉터리가 계속 증가
3. Compaction (rewrite_data_files)
3.1 개념
- 작은 파일 여러 개를 읽어 목표 크기의 큰 파일로 다시 쓰고, 새 스냅샷(operation =
replace)으로 커밋 - 데이터 내용은 그대로, 파일 배치만 변경
3.2 왜 하는가
- Small file 문제
- 스트리밍·마이크로배치는 작은 파일을 대량 생성
- 파일마다 열기, 메타 조회, Parquet footer 읽기 오버헤드 발생 → 같은 데이터라도 파일 수가 많으면 느림
- Delete 파일 누적 (Merge-on-Read)
- MoR 모드의 DELETE/UPDATE/MERGE는 원본 대신 position/equality delete 파일(v3에서는 deletion vector)을 기록
- 읽을 때마다 원본과 삭제 파일을 합쳐야 하므로 쌓일수록 느려짐
- Compaction이 삭제 내용을 원본에 반영
- 정렬/클러스터링
- 자주 필터하는 컬럼으로 정렬하면 파일별 min/max 통계 범위가 좁아짐 → 파일 스킵 효율 상승
3.3 전략
| 전략 | 동작 | 언제 |
|---|---|---|
binpack (기본) | 크기만 맞춰 병합, 정렬 없음 | 가장 저렴. small file 해소 목적 |
sort | 지정 컬럼으로 정렬하며 재작성 | 특정 컬럼 필터가 잦을 때 |
zorder | 여러 컬럼 다차원 클러스터링 | 2~4개 컬럼을 번갈아 필터할 때 |
- sort, zorder는 셔플이 발생해 binpack보다 훨씬 비쌈
3.4 사용법
CALL catalog.system.rewrite_data_files( table => 'db.tbl', strategy => 'binpack', where => 'event_date >= ''2026-10-01''', options => map( 'target-file-size-bytes', '536870912', 'min-input-files', '5', 'partial-progress.enabled', 'true', 'delete-file-threshold', '3' ));| 옵션 | 의미 |
|---|---|
target-file-size-bytes | 목표 파일 크기 (기본은 write.target-file-size-bytes, 512MB) |
min-file-size-bytes / max-file-size-bytes | 목표의 75% 미만, 180% 초과 파일을 재작성 대상으로 판단 |
min-input-files | 그룹 내 파일이 이 개수 이상일 때만 재작성 (기본 5) |
delete-file-threshold | 연결된 delete 파일이 이 개수 이상이면 크기와 무관하게 재작성 |
partial-progress.enabled | 파일 그룹 단위로 나눠 여러 번 커밋, 실패·충돌 범위 축소 |
rewrite-all | 조건 무시하고 전부 재작성 |
- delete 파일만 정리하는
rewrite_position_delete_files프로시저도 존재
3.5 고려사항
- 동시성 충돌
- Iceberg는 낙관적 동시성 제어 → 재작성 중인 파일을 다른 작업이 DELETE/UPDATE로 건드리면 compaction 커밋 실패
- 단순 append는 충돌하지 않음
where로 쓰기가 끝난 파티션만 대상으로 하는 것이 정석 (충돌 원리는 동시쓰기와 커밋 충돌 참고)
- 스토리지 일시 증가
- expire 전까지 옛 파일이 남음
- 비용
- 데이터를 전부 읽고 다시 쓰는 작업 → 전체 테이블보다 최근 파티션 위주로 증분 실행
- CoW vs MoR
- Copy-on-Write : delete 파일 문제가 거의 없음 → small file 해소 목적
- Merge-on-Read : compaction이 사실상 필수
- target 크기
- 너무 크면 병렬 읽기 감소, 너무 작으면 small file 잔존
- 보통 128MB~512MB 범위에서 쿼리 패턴에 맞춤
Concept
- Compaction : 작은 파일들을 목표 크기의 큰 파일로 재작성해
replace스냅샷으로 커밋하는 작업. 데이터 내용은 그대로 두고 물리 배치만 바꿈 - Small File Problem : 파일 수가 많을수록 open·메타 조회·footer 읽기 오버헤드가 누적되어 같은 데이터량이라도 읽기가 느려지는 현상. 스트리밍·마이크로배치 적재의 대표적 부작용
- Merge-on-Read (MoR) : 변경 시 원본을 다시 쓰지 않고 delete 파일을 따로 기록한 뒤 읽을 때 병합하는 방식. 쓰기는 빠르지만 compaction 없이는 읽기가 점점 느려짐
- Copy-on-Write (CoW) : 변경이 생긴 데이터 파일을 통째로 다시 쓰는 방식. 쓰기 비용이 크지만 읽기 시 병합이 필요 없음
- Bin-packing : 정렬 없이 파일 크기만 맞춰 묶는 병합 전략. 가장 저렴하며 small file 해소가 목적일 때 기본 선택
- Z-order Clustering : 여러 컬럼 값을 비트 인터리빙으로 섞어 다차원적으로 가까운 행을 같은 파일에 모으는 정렬. 여러 컬럼을 번갈아 필터할 때 파일 스킵 효율을 높임
- Optimistic Concurrency Control : 락 없이 작업한 뒤 커밋 시점에 충돌을 검사하는 동시성 제어. compaction은 같은 파일을 건드린 DELETE/UPDATE와 충돌하므로 닫힌 파티션만 대상으로 함
4. Optimize
4.1 용어 정리
- Iceberg 스펙에는 “optimize”라는 프로시저가 없음 → 엔진들이 compaction을 부르는 이름
| 엔진 | 명령 | 실체 |
|---|---|---|
| Trino | ALTER TABLE t EXECUTE optimize(file_size_threshold => '128MB') | binpack compaction |
| Athena | OPTIMIZE t REWRITE DATA USING BIN_PACK | binpack compaction |
| Spark | 별도 optimize 없음 | rewrite_data_files + rewrite_manifests |
| AWS Glue / S3 Tables | 테이블 optimizer (자동) | compaction, expire, orphan 삭제 자동 실행 |
- 넓은 의미의 optimize = 데이터 파일 최적화(compaction) + 메타데이터 최적화(rewrite manifests)
- 이 장에서는 메타데이터 쪽을 다룸
4.2 Rewrite Manifests
- 데이터 파일은 그대로 두고 manifest만 다시 써서 개수를 줄이고 파티션 기준으로 재그룹핑
- 쿼리 플래닝 순서 : manifest list → manifest → 파티션/통계 필터 → 읽을 파일 결정
- 커밋이 잦으면 manifest가 커밋마다 하나씩 생성되어
- 플래닝 때 열어야 할 manifest가 수천 개로 증가
- 한 manifest에 여러 파티션이 섞여 파티션 필터로 건너뛰지 못함
- 증상 : “스캔은 금방인데 쿼리 시작 전 플래닝이 몇 초~수십 초 걸림”
CALL catalog.system.rewrite_manifests('db.tbl');-- Trino 최신 버전에는 optimize_manifests도 있음 (사용 버전에서 지원 여부 확인 필요)4.3 고려사항
- 데이터를 다시 쓰지 않아 compaction보다 훨씬 가벼움
- 커밋 시 자동 병합 설정
commit.manifest-merge.enabled,commit.manifest.target-size-bytes(기본 8MB),commit.manifest.min-count-to-merge- 단, 스트리밍 쓰기는 fast append를 쓰는 경우가 많아 주기 실행이 필요
- compaction 이후 실행하면 효과가 큼
- 새 스냅샷을 만들고, 옛 manifest는 expire 때 삭제
Concept
- Optimize : 엔진이 compaction(과 경우에 따라 manifest 정리)을 묶어 부르는 이름. Iceberg 스펙 용어가 아니므로 엔진별 실체를 확인해야 함
- Rewrite Manifests : 데이터 파일은 그대로 두고 manifest만 재작성해 개수를 줄이고 파티션 단위로 재그룹핑하는 작업. 플래닝 지연의 1차 처방
- Query Planning Overhead : 실제 스캔 전 메타데이터를 읽어 대상 파일을 결정하는 데 드는 시간. manifest가 많고 파티션이 섞여 있을수록 증가
- Fast Append : 기존 manifest를 병합하지 않고 새 manifest를 추가만 하는 커밋 방식. 커밋은 빠르지만 manifest가 누적됨
- Partition Pruning : manifest와 파일의 파티션 값·통계로 읽을 필요 없는 파일을 건너뛰는 최적화. manifest에 여러 파티션이 섞이면 효율이 떨어짐
5. Remove Orphan Files
5.1 개념
- 테이블 디렉터리를 실제로 리스팅한 결과와 모든 유효 메타데이터가 참조하는 파일 목록을 비교
- 어디에도 참조되지 않는 파일을 삭제
| Expire snapshots | Remove orphan files | |
|---|---|---|
| 방식 | 메타데이터를 따라가며 삭제 | 디렉터리를 뒤져서 비교 |
| 대상 | 메타데이터에 기록된 적 있는 파일 | 기록된 적 없거나 기록이 사라진 파일 |
5.2 Orphan이 생기는 이유
- 데이터 파일을 쓴 뒤 커밋 전에 실패하거나 kill된 작업 (가장 흔함)
- 커밋 충돌 재시도가 최종 실패한 경우
- Spark speculative execution의 중복 출력
- expire가 메타데이터 갱신 후 파일 삭제 도중 실패한 경우
- 이 파일들은 어떤 스냅샷에도 없으므로 expire로는 절대 지워지지 않음
5.3 사용법
-- 반드시 dry run 먼저CALL catalog.system.remove_orphan_files( table => 'db.tbl', older_than => TIMESTAMP '2026-09-29 00:00:00', dry_run => true);
-- TrinoALTER TABLE db.tbl EXECUTE remove_orphan_files(retention_threshold => '7d');5.4 고려사항 (네 작업 중 가장 위험)
older_than이 생명줄- 진행 중인 쓰기 작업의 파일은 커밋 전이라 orphan처럼 보임
- 이를 지우면 커밋 순간 존재하지 않는 파일을 참조하는 깨진 테이블이 됨
- 가장 오래 걸리는 쓰기 작업보다 충분히 길게 설정 (기본 3일, 실무에서는 3~7일)
- 항상
dry_run으로 먼저 확인 - 경로 표기 불일치
- 메타데이터는
s3://, 리스팅은s3a://처럼 다르면 정상 파일이 전부 orphan으로 판정될 수 있음 - Spark의
equal_schemes,equal_authorities,prefix_mismatch_mode(기본 ERROR)로 제어 prefix_mismatch_mode를 DELETE로 바꾸는 건 매우 신중해야 함
- 메타데이터는
- 테이블 위치 공유 금지
- 두 테이블이 같은 디렉터리나 상하위 디렉터리를 쓰면 서로의 파일이 orphan으로 보임
- 리스팅 비용
- 파일이 수백만 개면 S3 리스팅이 느리고 비쌈
- 자주 돌리지 말고, 필요하면 S3 Inventory 등을
file_list_view로 넘겨 리스팅을 대체
- orphan 대량 발생 = 작업 실패가 잦다는 신호 → 파이프라인 점검
Concept
- Orphan File : 테이블 디렉터리에 존재하지만 어떤 유효 메타데이터도 참조하지 않는 파일. 주로 커밋 전에 실패한 쓰기 작업의 잔해
- Remove Orphan Files : 디렉터리 리스팅 결과와 메타데이터 참조 목록을 비교해 미참조 파일을 삭제하는 작업. 메타데이터를 따라가는 expire와 달리 스토리지를 직접 뒤짐
- Grace Period (older_than) : 최근에 생성된 파일을 삭제 대상에서 제외하는 안전 기간. 진행 중인 쓰기의 미커밋 파일을 보호하며, 가장 긴 쓰기 작업보다 길어야 함
- Dry Run : 실제 삭제 없이 삭제 대상 목록만 출력하는 실행 모드. 되돌릴 수 없는 정리 작업 전 필수 확인 절차
- Path Scheme Mismatch : 같은 파일이
s3://와s3a://처럼 다른 스킴·authority로 표기되는 현상. 비교 기반 정리에서 정상 파일을 orphan으로 오판하게 만듦 - Speculative Execution : 느린 태스크를 다른 노드에서 중복 실행해 먼저 끝난 결과를 채택하는 기법. 채택되지 않은 쪽의 출력 파일이 orphan으로 남을 수 있음
6. 실행 순서와 주기
- 권장 순서
Compaction → Rewrite manifests → Expire snapshots → Remove orphan files- Compaction이 옛 작은 파일을 논리적으로 교체
- Rewrite manifests가 정리된 파일 기준으로 목차를 다시 생성
- Expire가 옛 스냅샷을 잘라내며 1, 2에서 교체된 파일을 물리적으로 삭제
- Orphan 삭제가 남은 쓰레기(실패 작업 잔해)를 청소
- expire를 먼저 하면 그 뒤 compaction이 만든 옛 파일은 다음 expire 주기까지 남음
| 작업 | 해결 문제 | 새 스냅샷 | 데이터 재작성 | 위험도 | 일반적 주기 |
|---|---|---|---|---|---|
| Compaction | 읽기 성능 | O | O | 중 (충돌) | 시간~일 단위 |
| Rewrite manifests | 플래닝 성능 | O | X | 낮음 | 일~주 단위 |
| Expire snapshots | 스토리지, 메타 비대 | X | X | 중 (time travel 상실) | 일 단위 |
| Remove orphan files | 쓰레기 파일 | X | X | 높음 | 주 단위 |
Concept
- Logical Replace vs Physical Delete : compaction·rewrite manifests는 새 스냅샷에서 파일을 논리적으로 교체할 뿐이고, 실제 삭제는 expire가 수행함. 둘을 함께 돌려야 성능과 스토리지가 모두 개선됨
- Maintenance Ordering : compaction → rewrite manifests → expire → orphan 순으로 실행해 앞 단계가 만든 교체 파일을 같은 주기 안에 회수하는 원칙. 순서가 바뀌면 회수가 한 주기 밀림
- Risk-based Scheduling : 되돌릴 수 없는 작업일수록 빈도를 낮추고 안전장치를 두는 운영 원칙. orphan 삭제는 주 단위·dry run, compaction은 시간~일 단위로 운영
7. 실전: CSV → Bronze Iceberg 연속 적재 파이프라인
- CSV를 Bronze 테이블에 계속 적재하는 파이프라인 = append-only + 잦은 커밋 패턴
- DELETE/UPDATE가 없으므로 delete 파일 문제는 거의 없음 (MERGE로 upsert한다면 달라짐)
- 대신 적재마다 스냅샷, manifest, metadata.json 1개와 작은 데이터 파일 여러 개가 생성
- 해결할 문제는 세 가지
- small file
- 스냅샷·메타데이터 누적
- 실패 적재의 잔해
7.1 쓰기 단계에서 먼저 줄이기
- 유지보수보다 발생량을 줄이는 설정이 우선
- 커밋 단위 확대
- CSV 파일 하나당 커밋하면 스냅샷이 폭증
- 몇 분 단위 또는 N개 파일 단위로 모아서 커밋
- metadata 자동 정리와 쓰기 분배 설정
ALTER TABLE bronze.tbl SET TBLPROPERTIES ( 'write.metadata.delete-after-commit.enabled' = 'true', 'write.metadata.previous-versions-max' = '100', 'write.distribution-mode' = 'hash', 'write.target-file-size-bytes' = '268435456');- 파티션을 과하게 쪼개지 않기
- 적재 일자(
ingest_date) 정도가 적당 - 시간 단위나 고카디널리티 컬럼으로 파티션하면 커밋마다 파티션 수만큼 작은 파일 생성
- 적재 일자(
7.2 주기적 유지보수
| 작업 | 이 파이프라인에서의 의미 | 필수 여부 | 권장 주기 |
|---|---|---|---|
| Compaction (binpack) | 적재마다 생긴 작은 파일 병합 | 필수 | 일 1회, 닫힌 파티션 대상 |
| Rewrite manifests | 커밋마다 생긴 manifest 병합 | 필수에 가까움 | 일~주 1회 |
| Expire snapshots | 적재 스냅샷 정리 + 옛 파일 실제 삭제 | 필수 | 일 1회 |
| Remove orphan files | 실패 적재 잔해 정리 | 필수 (낮은 빈도) | 주 1회 |
-- 1) 어제까지의 닫힌 파티션만 binpackCALL catalog.system.rewrite_data_files( table => 'bronze.tbl', where => 'ingest_date < current_date()', options => map('min-input-files', '5', 'partial-progress.enabled', 'true'));
-- 2) manifest 정리CALL catalog.system.rewrite_manifests('bronze.tbl');
-- 3) 스냅샷 정리CALL catalog.system.expire_snapshots( table => 'bronze.tbl', older_than => current_timestamp() - INTERVAL 3 DAYS, retain_last => 50);
-- 4) 주 1회, dry run으로 먼저 확인CALL catalog.system.remove_orphan_files( table => 'bronze.tbl', older_than => current_timestamp() - INTERVAL 3 DAYS, dry_run => true);- append-only 테이블에서는 compaction과 적재가 동시에 돌아도 충돌하지 않음
- 적재는 파일을 추가만 하고, compaction은 기존 파일만 교체하기 때문
- 다만 오늘 파티션은 파일이 계속 들어와 반복 병합 낭비가 생김 → 닫힌 파티션만 대상
7.3 특히 조심할 점
- Silver가 Bronze를 증분으로 읽는다면 expire 보관 기간 > Silver의 최대 지연
- Silver가 하루 멈췄다 재개할 때 그 사이 스냅샷이 사라져 있으면 실패하거나 데이터를 건너뜀
- Compaction 스냅샷이 Silver에 중복으로 흘러가지 않는지 확인
- compaction은
replace타입 스냅샷이라 증분 append 읽기나 스트리밍 읽기는 일반적으로 이를 건너뜀 - 단, 엔진·버전과 읽기 방식에 따라 동작 확인 필요
- compaction은
- Orphan의
older_than은 가장 긴 적재 작업보다 넉넉하게- 대용량 백필이 있다면 그 기준으로 설정
7.4 유지보수는 아니지만 사실상 필수인 것
- 멱등성(중복 적재 방지)
- 재시도 시 같은 CSV가 두 번 들어가지 않도록 적재한 파일 목록을 관리
_source_file,_ingested_at컬럼을 두고, 커밋 시 스냅샷 속성(Spark의snapshot-property.*옵션)으로 소스 정보를 남기면 추적과 재처리가 쉬워짐
- 스키마 드리프트 대비
- CSV는 컬럼 추가, 순서 변경, 타입 흔들림이 잦음
- Bronze는 문자열 위주로 관대하게 받고, 타입 캐스팅은 Silver에서 하는 편이 적재 실패를 줄임
- 원본 CSV 보관 정책
- 적재된 원본은 archive 경로로 옮기고 수명 주기 규칙으로 정리
- small file을 쓰기·정리 양쪽에서 다루는 일반 패턴은 Data Compaction 패턴 참고
Concept
- Commit Batching : 여러 입력을 모아 한 번에 커밋해 스냅샷·manifest·metadata 생성량을 줄이는 기법. 유지보수 부담을 발생 단계에서 낮추는 1차 대책
- Closed Partition : 더 이상 새 데이터가 들어오지 않는 파티션. compaction 대상을 여기로 한정하면 반복 병합 낭비와 커밋 충돌을 피할 수 있음
- Over-partitioning : 시간 단위·고카디널리티 컬럼처럼 파티션을 지나치게 잘게 나눈 상태. 커밋마다 파티션 수만큼 작은 파일이 생겨 small file 문제를 증폭시킴
- Replace Snapshot : 데이터 내용 변경 없이 파일 배치만 바꾼 스냅샷 유형. 증분 소비자는 보통 이를 건너뛰어 compaction 결과가 중복 처리되지 않음
- Idempotent Ingestion : 같은 입력을 여러 번 적재해도 결과가 한 번 적재한 것과 같도록 보장하는 설계. 재시도가 잦은 파일 적재 파이프라인의 전제 조건
- Schema Drift : 원천 데이터의 컬럼 구성·순서·타입이 예고 없이 바뀌는 현상. Bronze는 관대하게 받고 Silver에서 타입을 강제하는 방식으로 흡수
8. 운영 체크리스트
-
유지보수를 붙이기 전에 아래 질문에 답할 수 있어야 함
-
며칠 전까지 rollback/time travel이 필요한가? → expire 보관 기간
-
이 테이블을 증분으로 읽는 소비자가 있나? 최대 지연은? → expire 보관 기간 하한
-
가장 오래 걸리는 쓰기 작업은 몇 시간인가? → orphan
older_than하한 -
CoW인가 MoR인가? → compaction 필요성과 주기
-
지금 쓰기가 일어나는 파티션은 어디인가? → compaction
where범위 -
metadata.json 자동 정리 속성이 켜져 있나?
-
테이블 location이 다른 테이블과 겹치지 않고, 경로 스킴이 일관적인가?
9. 셀프 체크
- Q1. compaction만 매일 돌리고 expire를 안 하면 스토리지는?
- 오히려 증가. 옛 파일은 과거 스냅샷이 계속 참조하므로 expire 전까지 삭제되지 않음
- Q2. S1이 추가한 파일 A가 현재도 테이블에 있다면, S1을 expire할 때 A는?
- 유지. 삭제 기준은 현재 참조 여부
- Q3. orphan 삭제의
older_than을 1시간으로 잡으면?- 진행 중인 쓰기의 미커밋 파일이 삭제되어 테이블이 깨질 수 있음
- Q4. 스캔은 빠른데 플래닝만 느리다면?
- manifest 문제를 의심하고 rewrite manifests를 먼저 고려
- Q5. Trino의 optimize는?
- binpack 방식의 데이터 파일 compaction
Iceberg 유지보수를 이해한다는 것은 Compaction은 성능(Performance), Expire는 스토리지(Storage), Orphan 삭제는 청소(Cleanup)를 담당하며 서로 대체할 수 없다는 것, 그리고 보관 기간을 rollback 요구와 하위 증분 소비자의 지연으로 정할 수 있다는 의미
- 기본값과 파라미터 이름은 Iceberg 및 엔진 버전에 따라 달라질 수 있으므로, 적용 전 사용 중인 버전의 공식 문서 확인 필요
추가적으로 공부하면 좋은 컨셉, 주제들
- Deletion Vector (Iceberg v3) : position delete 파일 대신 데이터 파일별 비트맵으로 삭제 행을 표시하는 방식. delete 파일 누적 문제를 구조적으로 완화
- Equality Delete vs Position Delete : 조건 값으로 삭제를 표현하는 방식과 파일·행 위치로 표현하는 방식. Flink CDC 등 스트리밍 upsert에서 equality delete가 쌓이는 이유
- Branch & Tag (WAP 패턴) : 브랜치에 먼저 쓰고 검증 후 main에 반영하는 Write-Audit-Publish 패턴과 브랜치별 보관 정책
- Table Optimizer 자동화 : AWS Glue/S3 Tables, Snowflake·Databricks 관리형 카탈로그의 자동 유지보수와 직접 스케줄링의 트레이드오프
- Metadata Tables :
snapshots,files,manifests,partitions메타데이터 테이블로 파일 수·크기 분포를 조회해 유지보수 필요 시점을 판단하는 방법 - Incremental Read / Changelog View : 스냅샷 범위로 변경분만 읽는 방식과 expire 보관 기간의 관계
[Iceberg]03. 테이블 유지보수: Expire, Compaction, Optimize, Orphan
https://yjinheon.netlify.app/posts/02de/00-storage/iceberg-03-maintenance/