6931 words
35 minutes
[Iceberg]04. 회고: dbt delete+insert 재실행이 파일 직접 읽기를 막은 이유와 optimize
  • 이 글에서 다루는 상황
    • 이미 적재된 gold 테이블에 컬럼을 추가하고 과거 기간을 다시 채우는 백필 중
    • dbt 단계는 성공, 바로 다음 발행 단계가 4초 만에 실패
    • 같은 백필이 1주일 전 빈 테이블에서는 문제없이 돌았음
  • 세 줄 요약
    • 무엇이 실패했나 : dbt delete+insert가 이미 있던 행을 지우면서 Iceberg에 position delete 파일을 남겼고, Parquet 파일을 직접 읽는 ClickHouse 발행이 이를 보고 스스로 멈춤
    • 왜 optimize인가 : optimize는 지워진 행을 빼고 데이터 파일을 다시 써서 delete 파일을 없앰. 데이터 내용은 그대로, 파일 배치만 바뀜
    • 고치다 하나 더 배운 것 : optimize는 기준 크기 미만 파일만 다시 씀. 한 번 압축한 파일은 기준보다 커져서, 다음 재실행 때는 같은 명령이 delete를 못 지움
  • 앞선 글과의 관계
    • [ClickHouse] Iceberg Parquet 직접 읽기 글의 “트러블슈팅 ①”과 같은 테이블, 같은 DAG, 같은 원인으로 6일 만에 다시 터진 사례
    • 그때 원인과 대안을 기록했지만 백필 DAG에는 반영하지 않았음 → 이 글은 “왜 또 났나”까지 다룸
  • 이어서 한 일 (9장)
    • 같은 원인이 다른 테이블에도 있는지 레이크 전체(268개)를 점검 → 정비에서 빠진 delete+insert 테이블 6개를 더 찾아 등록, 과거 잔재 1회 정리
    • 최대 6배이던 읽기 증폭을 7개 테이블 모두 1.0배로

0. Key Takeaways#

  1. Iceberg의 DELETE는 두 종류이고, 어느 쪽이 될지는 WHERE 절 모양이 정함
    • 파티션 경계와 맞는 리터럴 조건 → 파일을 메타데이터에서 통째로 빼는 metadata delete (delete 파일 0)
    • 그 밖의 조건, 특히 서브쿼리 → 지운 행의 위치를 적는 position delete (데이터 파일은 그대로 남음)
  2. dbt-trino delete+insert는 항상 서브쿼리 조건(where key in (select key from tmp))이라 지울 행이 있으면 position delete를 만듦
  3. position delete는 “읽는 엔진이 적용해야 하는 약속”. Trino는 지키지만 Parquet를 직접 읽는 쪽(ClickHouse s3())은 모름 → 그대로 읽으면 지운 행이 살아나서 행 수가 2배
  4. 첫 실행과 재실행은 다른 코드 경로. 빈 파티션에서는 지울 행이 없어 delete 파일이 안 생김 → 첫 백필 통과는 재실행 안전의 근거가 아님
  5. optimize = delete를 반영한 재작성. 대신 문서대로 기준 크기 미만 파일만 대상 → 기준은 “다시 써야 할 파일보다 크게” 잡아야 함
  6. 기록된 교훈은 코드 경로에 들어가기 전까지 고친 게 아님. 같은 원인을 두 번째로 맞음
  7. 가드는 일을 했음. 쓰기 전에 검사해서 4초 만에 실패 → 서빙 테이블은 한 행도 바뀌지 않음
  8. 문제 하나를 고쳤으면 같은 패턴을 전체에서 찾아야 함. 이번 테이블만 고쳤다면 같은 쓰기 방식의 테이블 6개가 계속 최대 6배를 읽고 있었음
  9. “자동 발견된 테이블도 정비된다”는 말을 기본값까지 확인해야 함. 발견 기본값은 스냅샷 만료만 하고 optimize는 끔 → 정비 DAG가 돌아도 delete는 계속 쌓임
  10. 최근 N일만 압축하는 정비는 과거 파티션의 잔재를 영원히 못 지움. 재백필이 과거 파티션에 남긴 delete는 1회 정리가 따로 필요함
  11. 증폭은 delete 행 수가 아니라 count(*)로 재야 함. 어떤 행에도 적용되지 않는 delete(dangling)가 있으면 delete 행 수 기반 추정은 틀림

1. 배경#

1.1 무엇을 하던 중이었나#

  • 대상 : 사람별 메시지 발송 요청 gold 테이블 (serialnumber grain)
    • Iceberg gold : dbt incremental, incremental_strategy='delete+insert', unique_key='send_day', day(send_day) 파티션
    • ClickHouse 서빙 : 같은 컬럼, PARTITION BY send_day
  • 변경 : 알림톡 원천 템플릿 id 컬럼 template_id 추가
    • 일 배치는 최근 3일만 다시 만드므로, 과거분은 백필 DAG로 한 달씩 다시 만들어야 함
  • 백필 DAG 구조 (변경 전)
Terminal window
build_request dbt run + test (창: snapshot_date − rebuild_days ~ snapshot_date)
│
publish_request ClickHouse 가 Iceberg Parquet 를 s3() 로 직접 읽어 staging 적재 → 일 파티션 교체
  • 첫 백필 대상 : 7월 (07-06 ~ 07-31, 26일, 1.14억 행). 이 파티션들은 이미 데이터가 있음

1.2 증상#

Terminal window
build_request success 11분
publish_request failed 4초
ValueError: iceberg.gold.<table> 2026-07-06: delete files present, parquet cannot be read directly
  • 실패 후 상태
    • Iceberg gold : template_id 컬럼 추가, 7월 재적재 완료
    • ClickHouse : 아무 파티션도 교체 안 됨, staging 잔여 없음 → 7월은 옛 데이터 그대로 서빙
  • 1주일 전 같은 DAG로 같은 테이블을 처음 채울 때는 성공했음

2. 원인 1: dbt delete+insert는 position delete를 만든다#

2.1 Iceberg는 파일을 고치지 않는다#

  • Iceberg 데이터 파일(Parquet)은 한 번 쓰면 수정하지 않음
  • 그래서 “행을 지운다”를 표현하는 방법이 따로 필요함
방식하는 일남는 것읽는 쪽 부담
Metadata delete조건이 파티션 전체와 맞으면, 그 파티션의 파일들을 메타데이터에서 통째로 뺌없음없음
Position delete (v2, merge-on-read)데이터 파일은 두고 “파일 X의 N번째 행은 지워짐”을 적은 delete 파일을 추가옛 데이터 파일 + delete 파일읽을 때 delete를 적용해야 함
  • Trino 문서 표현
    • 파티션 삭제 : “the Iceberg connector supports the deletion of entire partitions if the WHERE clause specifies filters only on the identity-transformed partitioning columns, that can match entire partitions”
    • 행 삭제 : “Tables using v2 of the Iceberg specification support deletion of individual rows by writing position delete files”
  • 문서는 identity 파티션만 언급하지만, 이 테이블(day(send_day), send_day는 date)에서는 일 경계 리터럴 범위도 파티션 삭제로 실행됨 (아래 EXPLAIN으로 확인)

2.2 dbt-trino가 실제로 보내는 SQL#

  • dbt-trino 1.10.3 trino__get_delete_insert_merge_sql (unique_key가 문자열일 때)
delete from {{ target }}
where (
{{ unique_key }}) in (
select {{ unique_key }}
from {{ source }}
);
-- 이어서
insert into {{ target }} (...) (select ... from {{ source }});
  • 조건이 임시 테이블에 대한 서브쿼리
    • Trino가 계획 시점에 “이 DELETE는 파티션 전체를 지운다”고 증명할 수 없음 → 행 단위 삭제로 감

2.3 계획으로 확인 (EXPLAIN만, 실행 안 함)#

  • dbt 형태 (서브쿼리)
Terminal window
TableCommit
└─ MERGE [ ... arguments = [operation, send_day, field::row("_file", "_pos", ...)] ]
└─ SemiJoin[criteria = send_day = subquery]
├─ ScanFilter[table = ...$data, dynamicFilters = {send_day = #df}]
└─ (subquery)
  • 데이터를 실제로 스캔하고, 지울 행마다 _file(파일 경로) + _pos(행 위치)를 모아 씀 → position delete 파일

  • 파티션 경계 리터럴

explain delete from <table>
where send_day >= date '2026-07-06' and send_day < date '2026-07-07';
Terminal window
Fragment 0 [COORDINATOR_ONLY]
└─ TableDelete[target = ...$data constraint on [send_day]]
  • 코디네이터 혼자 메타데이터만 수정, 데이터 스캔 없음 → metadata delete

2.4 스냅샷 기록으로 확인#

  • $snapshots의 7월 재적재 두 커밋
커밋operation추가 데이터 파일추가 delete 파일position delete 행바뀐 파티션
dbt DELETEdelete0112114,154,86326
dbt INSERTappend105026
  • 읽는 법
    • 7월 1.14억 행을 “지웠지만” 옛 데이터 파일은 그대로 있고, delete 파일 112개가 “이 행들은 무효”라고 표시
    • 새 1.14억 행은 새 파일 105개로 들어옴
    • Trino로 count(*) 하면 1.14억 (delete 적용). 파일의 record_count를 그냥 더하면 2.28억

2.5 그럼 첫 백필은 왜 됐나#

  • 첫 적재 때는 그 파티션들이 비어 있었음
  • delete ... where send_day in (...)가 지울 행이 0개 → delete 파일도 0개
  • 즉 같은 SQL이라도 대상에 데이터가 있느냐에 따라 남기는 파일이 다름
  • 교훈 : 멱등성(재실행해도 같은 결과)은 두 번째 실행을 해 봐야 확인됨. “결과 행”은 같아도 “부수 산출물(파일)“은 다를 수 있음

3. 원인 2: 직접 읽기는 delete 파일을 모른다#

3.1 발행 경로가 두 개#

경로쓰는 곳읽는 방법delete 처리
Trino 경로일 배치Trino SELECT 결과를 ClickHouse로 스트리밍Trino가 적용해서 넘겨 줌
파일 직접 경로백필Iceberg $files로 파일 목록 → ClickHouse s3()가 Parquet를 직접 읽음아무도 적용 안 함
  • 파일 직접 경로를 만든 이유 : 한 달 1.1억 행 발행이 84분 → 3분 (앞선 글)
  • 대가 : Iceberg 엔진을 건너뛰므로, 엔진이 대신 해 주던 일(delete 적용 등)을 우리가 책임짐

3.2 그래서 가드가 있다#

  • 파일 목록을 가져올 때 delete 파일(content != 0)이 하나라도 있으면 거부
if any(content != 0 for _, _, content in rows):
raise ValueError(f"{label}: delete files present, parquet cannot be read directly")
  • 가드가 없었다면
    • 데이터 파일 = 옛 파일 + 새 파일 → staging에 7월 2.28억 행
    • 행 수 검사도 통과함. 기대 행 수를 같은 파일 목록의 record_count 합으로 구하기 때문
    • 그대로 파티션 교체 → 7월이 2배로 서빙
  • 같은 출처끼리의 대조(파일 목록 vs 그 목록의 record_count)는 “잘못 고른 파일”을 못 잡음 → 다른 불변식(delete 파일 0)이 잡아야 함

3.3 일 배치는 왜 멀쩡한가#

  • 일 배치도 매일 최근 3일을 delete+insert → 매일 position delete가 생김
  • 하지만 Trino 경로로 발행하므로 Trino가 delete를 적용 → 결과는 정확
  • 부작용은 누적
    • 이 테이블은 정비(optimize) 대상이 아니어서 delete 파일이 계속 쌓여 있음 : 테이블 전체 delete 파일 74개, position delete 7,890만 행
    • 예 : 11-04 파티션은 데이터 파일 record_count 합 2,692만, 실제 행 539만 → 약 5배를 읽고 버림
    • 정확성 문제는 아니고 Trino 읽기 비용 문제 → 9장에서 정비 대상에 추가하고 레이크 전체로 넓힘

4. 왜 optimize인가#

4.1 optimize가 하는 일#

ALTER TABLE iceberg.gold.<table>
EXECUTE optimize(file_size_threshold => '128MB')
WHERE send_day >= date '2026-07-06' AND send_day <= date '2026-07-31';
  • 조건에 맞는 파티션의 데이터 파일을 읽어 delete를 적용한 결과로 새 파일을 씀
  • 새 스냅샷에서는 옛 데이터 파일과 delete 파일이 빠짐 → 파일만 읽어도 정확
  • 데이터 내용은 그대로. 옛 파일은 스냅샷 만료 전까지 남아 time travel로 되돌릴 수 있음
  • WHERE로 백필 창만 다시 씀 → 다른 달은 안 건드림

4.2 결과 (7월, 1분 25초)#

전후
데이터 파일옛 파일 + 새 105개31개
delete 파일112개0개
record_count 합2.28억114,154,863
Trino count(*)114,154,863114,154,863
  • 이후 publish_request만 다시 실행 → 성공
    • ClickHouse 7월 114,154,863행 (전과 동일), 알림톡 행의 template_id 채움 99.91%

4.3 다른 선택지와 비교#

방법장점단점선택
빌드 후 창 optimize빌드 중에도 gold가 항상 차 있음. 기존 코드 재사용창 전체를 다시 씀 (월 약 4.6GB, 1~2분)채택
빌드 전 파티션 경계 리터럴 DELETEmetadata delete라 공짜, delete 파일이 아예 안 생김빌드가 끝날 때까지 gold에 그 달이 비어 있음. 빌드가 실패하면 구멍이 남음앞선 사례에서 수동으로 씀
dbt microbatch 전략dbt-trino 매크로가 리터럴 시간 조건만으로 DELETE → metadata delete 가능성모델 전환 범위가 큼. 이 테이블에서 실제로 metadata delete가 되는지 미확인보류
ClickHouse icebergS3()엔진이 delete를 적용버전 업그레이드 필요, 큰 delete 파일에서 느리다는 이슈보류
  • 정리 : 백필은 사람이 한 달씩 돌리는 작업이라 1~2분 재작성 비용은 문제가 안 됨. 빌드 중 gold가 비지 않는 쪽을 택함

5. 고치다 하나 더 : optimize는 기준 미만 파일만 다시 쓴다#

5.1 문서#

  • Trino 문서 : “All files with a size below the optional file_size_threshold parameter (default value for the threshold is 100MB) are merged in case any of the following conditions are met per partition”
    • 조건 : 합칠 데이터 파일이 둘 이상 / delete 파일이 붙은 데이터 파일이 하나 이상
  • 즉 delete가 붙어 있어도 기준보다 큰 파일은 대상이라는 말이 없음 (명시도 안 됨)

5.2 왜 문제가 되나#

  • 7월 압축 전 새 파일 : 평균 약 44MB → 전부 128MB 미만이라 다 다시 써짐
  • 7월 압축 후 파일 : 평균 150MB, 최대 238MB → 31개 중 22개가 128MB 초과
  • 다른 달도 이미 큰 파일이 있음
월데이터 파일128MB 초과최대
073122238MB
081073157MB
0912311211MB
101161135MB
  • 시나리오 : 8월 백필 → dbt DELETE가 157MB 파일에도 position delete를 붙임 → 128MB 기준 optimize는 그 파일을 건너뜀 → delete 파일이 남음 → 발행 가드가 또 실패
    • 데이터가 망가지지는 않음 (가드가 막음). 대신 같은 실패를 또 함
  • 처음 고친 방식이 자기가 만든 결과(큰 파일) 때문에 다음 번에 안 통하는 구조

5.3 조치 : 기준을 창 전체를 덮는 크기로#

  • 백필 optimize의 기준을 1GB로
    • 근거 : 가장 큰 하루 파티션의 실제 데이터가 약 357MB (07-07, 880만 행) → 어떤 파일도 1GB를 넘지 않음
    • 결과 : 창 안의 데이터 파일이 크기와 관계없이 전부 다시 써짐 → delete 파일이 남을 수 없음
  • 남는 위험 : 하루 데이터가 1GB를 넘으면 다시 같은 구멍. 그때도 가드가 먼저 막으므로 조용히 틀리지는 않음

6. 최종 변경#

Terminal window
build_request dbt run + test
│
compact_request ALTER TABLE ... EXECUTE optimize(file_size_threshold => '1GB')
│ WHERE send_day >= <창 시작> AND send_day <= <창 끝>
│
publish_request ClickHouse s3() 직접 읽기 → 일 파티션 교체
  • optimize를 build_request 안이 아니라 별도 태스크로 둔 이유
    • 발행이 실패했을 때 발행만 다시 돌릴 수 있음
    • 빌드를 다시 돌리면 delete 파일이 또 생기므로, 재시도 단위를 나누는 게 중요
  • optimize의 창은 발행 창과 같은 함수(imc_request_days)로 계산 → 창이 어긋날 수 없음
  • 테스트 : 7월 창(snapshot_date=2026-07-31, rebuild_days=30)이 07-06 ~ 07-31 범위 optimize SQL로 나오는지 고정

7. 왜 두 번째로 맞았나#

  • 11-04에 다른 컬럼을 추가하며 9월 파티션을 다시 만들다 같은 실패를 겪었고, 그때 글로 원인과 대안까지 정리했음
    • 그때 조치 : 파티션 경계 리터럴로 먼저 지우고 백필 재실행 (수동)
    • 그때 적은 대안 : 쓰기 방식 변경 / 발행 전 optimize / icebergS3()
  • 하지만 백필 DAG에는 아무것도 넣지 않았음 → 다음 사람(다음 달의 나)은 같은 DAG를 그대로 돌림
  • 배운 것
    • 운영 절차에 “먼저 X를 하라”가 필요하면, 그 X는 DAG의 태스크가 되어야 함
    • 회고 문서의 “선택지 표”는 결정이 아님. 하나를 골라 코드로 넣는 데까지가 조치

8. 결과 : 남은 달은 수동 조치 없이 끝남#

  • 배포 후 8월부터 11/07까지 한 달씩 백필. 모두 build → compact → publish 한 번에 성공
기간buildcompactpublishCH 행 수 (= Iceberg)알림톡 template_id 채움
07 (수동 optimize 후 publish 재실행)11분1분 25초몇 분114,154,86399.91%
086분2분4분111,630,26099.91%
0910분2분4분140,342,92599.87%
106분2분4분114,401,03599.88%
11 (01~07)3분1분1분27,806,73199.88%
  • 9월은 압축 전부터 128MB 초과 파일이 11개 있던 달. 1GB 기준에서 delete 0으로 끝남 → 5장의 우려가 실제였고 조치가 맞았음
  • 압축 후 하루 파일은 230~305MB → 다음 재실행 때도 1GB 기준 안에 들어옴

9. 레이크 전체로 넓히기 : 정비에서 빠진 테이블 찾기#

  • 3.3에서 본 “delete가 쌓이는데 압축이 안 되는” 상태가 이 테이블만의 문제인지 확인

9.1 왜 빠져 있었나 : 발견 기본값#

  • 정비 DAG는 두 경로로 대상을 만듦
    • registry : 사람이 직접 등록. optimize, 창, 기준 크기를 지정
    • 자동 발견 : gold·silver 스키마의 나머지 Iceberg 테이블을 매일 찾아 기본 정비를 붙임
  • 자동 발견 기본값
IcebergTableMaintenance(table, optimize=False, remove_orphan_files=False)
  • 즉 발견된 테이블은 스냅샷 만료만 함. optimize는 꺼져 있음
    • 코드에는 “압축이 필요한 gold·silver는 registry에 둔다”는 주석만 있고 이유는 적혀 있지 않음. 큰 테이블 전체 optimize가 30분 쿼리 제한을 넘는 것을 피하려는 보수적 기본값으로 추정
  • 결과 : dbt delete+insert로 매일 다시 쓰는 gold·silver 테이블이 registry에 없으면, “정비되는 중”으로 보이지만 delete는 계속 쌓임

9.2 점검 방법#

  • Iceberg 테이블 268개 전부의 $files를 조회해 데이터 파일 수, 작은 파일 수, delete 파일 수, delete 행 수를 수집
  • 정비 계획(maintenance_plan())과 대조해 optimize가 켜져 있는지 표시
  • delete 파일이 있는 20개는 실제 증폭을 따로 계산
Terminal window
증폭 = sum(record_count where content = 0) / count(*)
파일에 적힌 행 수 실제로 살아 있는 행 수

9.3 함정 : delete 행 수로 증폭을 추정하면 틀린다#

  • 처음에는 파일 행 수 / (파일 행 수 − delete 행 수)로 추정함
  • tma_bronze.cafe24_customersprivacy : 추정 3.7배, 실제 count(*)로 재면 1.0배
  • 한 파티션을 열어 보니
파일행 수
데이터 파일1개120,419
position delete 파일1개120,419
count(*)120,419
  • delete 파일이 지우겠다는 행이 지금 데이터 파일에 하나도 없음 → 이미 다시 쓰여 사라진 옛 파일을 가리키는 dangling delete
  • 테이블 전체로도 count(*) = 데이터 파일 행 수 합 → delete 138개가 전부 dangling
  • Trino optimize는 이 delete를 지우지 않았음 (optimize 직후 스냅샷에도 138개 그대로, 관측)
  • 교훈 : delete 파일의 “개수”나 “행 수”는 비용의 근사일 뿐. 증폭은 반드시 살아 있는 행 수와 비교

9.4 점검 결과#

테이블쓰기정비 상태실제 증폭원인 분류
silver.int_tas__humuson_id_messagedelete+insert 7일미등록6.1배발견 기본값
silver.int_tas__unmatched_email_recipientdelete+insert 7일미등록5.7배발견 기본값
silver.int_tas__message_recipientdelete+insert 7일등록 (최근 7일)4.6배창 밖 과거 잔재
gold.fct_tas_humuson_id_recipientdelete+insert 7일미등록2.8배발견 기본값
gold.fct_tas_campaign_user_senddelete+insert 7일미등록2.0배발견 기본값
silver.int_tas__campaign_send_targetdelete+insert 7일미등록2.0배발견 기본값
gold.fct_tas_user_daily_snapshotdelete+insert 당일미등록1.4배발견 기본값
gold.fct_imc_humuson_id_requestdelete+insert 3일미등록1.15배 (11-04는 5배)이 글의 테이블
gold.fct_tas_access_log하루 100번 이상 overwrite등록 (전체)4.2배밤마다 0으로 정리, 낮에 다시 쌓임 → 정상
tma_bronze.cafe24_customersprivacy 외 1개등록1.0배dangling delete만 남음 → 보류
  • 가장 눈에 띈 것 : 이미 등록된 int_tas__message_recipient가 4.6배
    • delete 파일 1,347개 중 1,340개가 5~10월 파티션 → 정비 창(최근 7일) 밖
    • 과거 재백필이 남긴 잔재로 보임. 최근 7일만 압축하는 정비는 이걸 영원히 못 지움

9.5 조치 1 : registry 등록#

  • 일 단위 delete+insert 테이블 7개를 같은 규칙으로 등록, 기존 int_tas__message_recipient도 같은 규칙으로
IcebergTableMaintenance(
table,
optimize_partition_column=column, # send_day 또는 snapshot_date
optimize_partition_days=7,
file_size_threshold="1GB",
)
  • 창 7일 : 각 테이블을 쓰는 DAG의 재작성 창(3일 또는 7일) 이상이어야 전날 만든 delete가 다음 날 새벽에 정리됨
    • 테스트로 고정 : optimize_partition_days >= 해당 DAG의 REBUILD_DAYS. 누가 재작성 창을 늘리면 테스트가 깨짐
  • 기준 1GB : 5장과 같은 이유. 압축된 하루 파일이 128MB를 넘으면 다음 날 delete가 안 지워짐
    • 근거 : 7개 테이블의 가장 큰 하루 파티션이 지운 행 포함 896MB → 실제 데이터는 그보다 훨씬 작음
  • 비용 : 이미 압축된 파티션(파일 1개, delete 없음)은 optimize 조건에 안 걸려 건너뜀 → 매일 실제로 다시 쓰는 건 그날 바뀐 며칠뿐

9.6 조치 2 : 과거 잔재 1회 정리#

  • 정비 창 밖의 delete는 따로 지워야 함. 테이블마다 delete가 있는 달만, 월 단위로 optimize
ALTER TABLE iceberg.<schema>.<table>
EXECUTE optimize(file_size_threshold => '1GB')
WHERE send_day >= date '2026-05-01' AND send_day < date '2026-05-01' + interval '1' month;
  • 월 단위로 나눈 이유 : 한 문장이 길어지면 정비 쿼리 제한(30분)에 걸리고, 실패해도 그 달만 다시 하면 됨
  • 안전장치 : 테이블마다 전후 count(*)를 비교하고, 하나라도 다르면 중단
  • 결과 (7개 테이블, 약 51GB, 16분, 가장 긴 한 달 72초)
테이블증폭데이터 파일delete 파일실제 행 수
int_tas__humuson_id_message6.14 → 1.01,143 → 194949 → 033,015,942 (동일)
int_tas__unmatched_email_recipient5.74 → 1.01,660 → 1941,355 → 0290,875,419 (동일)
int_tas__message_recipient4.63 → 1.01,713 → 1941,347 → 0326,599,322 (동일)
fct_tas_humuson_id_recipient2.83 → 1.0502 → 194308 → 033,743,462 (동일)
fct_tas_campaign_user_send2.04 → 1.0104 → 1787 → 0646,981 (동일)
int_tas__campaign_send_target1.97 → 1.0100 → 1783 → 0646,981 (동일)
fct_tas_user_daily_snapshot1.42 → 1.0169 → 11950 → 021,522,144 (동일)
  • message_recipient는 실제 3.3억 행을 읽으려고 파일 15억 행을 열던 상태 → 이제 3.3억 행만 읽음

9.7 손대지 않은 것과 이유#

  • dangling delete만 남은 테이블 (cafe24_customersprivacy 138개, cafe24_webhook_logs 113개) : 증폭 1.0. 비용은 작은 파일을 여는 것뿐이라 보류. Trino optimize로는 안 지워짐 (Spark의 position delete 재작성 계열로 검토)
  • fct_tas_access_log 4.2배 : 하루 100번 이상 overwrite(3일 380회) → 밤 정비가 0으로 만들고 낮에 다시 쌓이는 정상 주기. 141만 행이라 비용 작음
  • imc_bronze.request_log : 실제 delete 8개가 696MB 파일에 붙어 128MB 기준으로는 안 지워짐. 증폭 1.0이라 보류. 5장과 같은 함정의 소규모 사례
  • 근본 대안 : 재작성 창을 파티션 경계 리터럴로 먼저 지워 metadata delete를 쓰면 delete 파일이 아예 안 생김. 압축 비용도, 백필 compact도 필요 없어짐. 대신 빌드 중 gold가 비고 실패 시 구멍 → 이번에는 기존 정비 틀에 맞춘 쪽을 택함

10. 덤 : manual run은 tasks clear의 날짜 필터에 안 잡힌다#

  • 실패한 publish_request만 다시 돌리려고 airflow tasks clear -t publish_request -s <날짜>를 했지만 아무 일도 없었음. --only-failed도 마찬가지
  • Airflow 3에서 manual trigger run은 logical_date가 비어 있고, CLI clear는 날짜 기준으로 대상을 찾기 때문으로 보임
  • 해결 : scheduler pod에서 ORM으로 그 run의 그 task 하나만 지정해 clear
from airflow.models.taskinstance import TaskInstance, clear_task_instances
from airflow.utils.session import create_session
with create_session() as session:
tis = session.query(TaskInstance).filter(
TaskInstance.dag_id == "<dag_id>",
TaskInstance.run_id == "<run_id>",
TaskInstance.task_id == "publish_request",
).all()
assert len(tis) == 1 # 정확히 하나만 건드리는지 먼저 확인
clear_task_instances(tis, session)
  • --only-failed를 날짜 없이 쓰면 그 DAG의 다른 실패 run까지 지울 수 있으므로 주의 (이번에는 실패 run이 둘이었음)

Concept

  • Metadata Delete : 조건이 파티션 전체와 맞을 때 파일을 메타데이터에서 통째로 빼는 삭제. 데이터를 읽지 않고 delete 파일도 남기지 않음
  • Position Delete File : “어느 파일의 몇 번째 행이 지워졌는가”를 적은 Iceberg v2 파일. 읽는 엔진이 적용해야 올바른 결과가 나옴
  • Merge-on-Read (MoR) : 변경을 별도 파일로 적고 읽을 때 합치는 방식. 쓰기는 싸지만, 읽는 쪽이 규칙을 모르면 틀린 결과를 읽음
  • SemiJoin DELETE : where k in (select ...) 형태의 DELETE. 계획 시점에 파티션 단위로 증명되지 않아 행 단위 삭제가 됨
  • Compaction (optimize) : 작은 파일을 합치고 delete를 반영해 다시 쓰는 작업. 내용은 그대로, 파일 배치만 바뀜
  • File Size Threshold : optimize가 다시 쓸 파일을 고르는 크기 기준. 기준 이상인 파일은 delete가 붙어 있어도 대상이라는 보장이 없음
  • First-Run vs Rerun : 같은 SQL도 대상이 비었을 때와 찼을 때 다른 부수 산출물을 만듦. 멱등성 시험은 재실행까지
  • Engine Bypass Contract : 엔진을 건너뛰고 파일을 직접 읽으면, 엔진이 지키던 규칙(delete 적용, 현재 파일 선택)을 직접 지켜야 함
  • Fail-Fast Guard : 쓰기 전에 전제를 검사해 즉시 실패하는 장치. 조용한 2배 적재를 4초짜리 실패로 바꿈
  • Retry Granularity : 재시도 단위를 부수효과 경계에 맞춰 나누는 것. 빌드를 다시 하면 delete가 또 생기므로 압축·발행을 별도 태스크로
  • Read Amplification : 실제로 필요한 행보다 많이 읽는 비율. Iceberg에서는 파일에 적힌 행 수 ÷ 살아 있는 행 수로 잼
  • Dangling Delete : 이미 사라진 데이터 파일을 가리켜 아무 행에도 적용되지 않는 delete 파일. 증폭은 없지만 delete 행 수 기반 추정을 틀리게 만들고, Trino optimize로 안 지워짐
  • Discovery Default : 자동으로 찾은 대상에 붙는 기본 설정. “정비된다”는 말이 무엇을 정비하는지는 기본값이 정함
  • Rolling-Window Maintenance : 최근 N일만 정리하는 정비. 일 배치가 만드는 쓰레기는 따라잡지만, 창 밖 과거 파티션에 남은 쓰레기는 영원히 못 지움
  • Pattern Sweep : 장애 하나를 고친 뒤 같은 원인 패턴을 시스템 전체에서 찾는 일. 이번엔 테이블 1개 → 7개

부록 : 진단 SQL#

-- [Trino] DELETE 가 metadata delete 인지 position delete 인지 (실행 안 함)
-- TableDelete 만 보이면 metadata delete, SemiJoin/MERGE + _file/_pos 가 보이면 position delete
explain delete from iceberg.<schema>.<table>
where send_day >= date '2026-07-06' and send_day < date '2026-07-07';
-- [Trino] 어떤 커밋이 delete 파일을 만들었나. 키가 없을 수 있어 element_at
select committed_at, operation,
element_at(summary, 'added-data-files'),
element_at(summary, 'added-delete-files'),
element_at(summary, 'added-position-deletes'),
element_at(summary, 'total-delete-files')
from iceberg.<schema>."<table>$snapshots"
order by committed_at desc;
-- [Trino] 파티션별 파일 구성. content 0 = 데이터, 1 = position delete, 2 = equality delete
select "partition", content, count(*), sum(record_count), max(file_size_in_bytes)
from iceberg.<schema>."<table>$files"
group by 1, 2 order by 1, 2;
-- [Trino] optimize 기준을 넘는 파일이 창 안에 있는가 (있으면 그 파일의 delete 는 안 지워질 수 있음)
select count_if(file_size_in_bytes > 128 * 1024 * 1024)
from iceberg.<schema>."<table>$files"
where content = 0 and "partition".send_day_day between date '<시작>' and date '<끝>';
-- [Trino] 테이블 단위 실제 증폭. delete 행 수로 추정하지 말 것 (dangling delete)
select (select sum(record_count) from iceberg.<schema>."<table>$files" where content = 0)
* 1.0 / (select count(*) from iceberg.<schema>.<table>) as amplification;
-- [Trino] dangling delete 의심: 파티션 하나에서 데이터 행 수 = 살아 있는 행 수인데 delete 파일이 있으면 그 delete 는 적용 대상이 없음
select content, count(*), sum(record_count)
from iceberg.<schema>."<table>$files"
where "partition".<part>_day = date '<일>'
group by 1;
select count(*) from iceberg.<schema>.<table> where <part> = date '<일>';
-- [Trino] 창 밖 과거 잔재: delete 파일이 어느 달에 몰려 있나
select date_format("partition".<part>_day, '%Y-%m') m, count_if(content = 1) delete_files, count_if(content = 0) data_files
from iceberg.<schema>."<table>$files"
group by 1 order by 1;
-- [Trino] 읽기 증폭: 파일에 적힌 행 수 vs 실제 행 수
select (select sum(record_count) from iceberg.<schema>."<table>$files"
where content = 0 and "partition".send_day_day = date '<일>') as file_rows,
(select count(*) from iceberg.<schema>.<table> where send_day = date '<일>') as live_rows;

더 공부할 것#

  • Trino Iceberg optimize 내부 : 기준 이상 파일 중 delete가 붙은 파일을 실제로 다시 쓰는지 (문서 미명시, 버전별 확인 필요)
  • dbt incremental_predicates와 microbatch : DELETE를 리터럴 조건으로 만들어 metadata delete를 유도할 수 있는지
  • Iceberg v3 Deletion Vector : position delete 파일 대신 파일별 비트맵. 누적 문제를 어떻게 줄이는지
  • Copy-on-Write 모드 : write.delete.mode=copy-on-write일 때 Trino DELETE가 파일을 다시 쓰는지와 그 비용
  • Rewrite Position Delete Files : delete 파일만 합치는 Spark 프로시저와 데이터 파일 재작성의 차이
  • Dangling delete 제거 : Iceberg Spark의 dangling delete 정리 동작과 Trino에서 대안이 있는지
  • 정비 기본값 설계 : 자동 발견 테이블에 “delete 파일이 생기면 압축”처럼 조건부 optimize를 켜는 방식이 가능한지

참고 자료#

[Iceberg]04. 회고: dbt delete+insert 재실행이 파일 직접 읽기를 막은 이유와 optimize
https://yjinheon.netlify.app/posts/02de/00-storage/iceberg-04-delete-insert-position-delete/
Author
Datamind
Published at
2026-11-10
License
CC BY-NC-SA 4.0