[Iceberg]04. 회고: dbt delete+insert 재실행이 파일 직접 읽기를 막은 이유와 optimize
이 글에서 다루는 상황
이미 적재된 gold 테이블에 컬럼을 추가하고 과거 기간을 다시 채우는 백필 중
dbt 단계는 성공, 바로 다음 발행 단계가 4초 만에 실패
같은 백필이 1주일 전 빈 테이블에서는 문제없이 돌았음
세 줄 요약
무엇이 실패했나 : dbt delete+insert가 이미 있던 행을 지우면서 Iceberg에 position delete 파일 을 남겼고, Parquet 파일을 직접 읽는 ClickHouse 발행이 이를 보고 스스로 멈춤
왜 optimize인가 : optimize는 지워진 행을 빼고 데이터 파일을 다시 써서 delete 파일을 없앰. 데이터 내용은 그대로, 파일 배치만 바뀜
고치다 하나 더 배운 것 : optimize는 기준 크기 미만 파일만 다시 씀. 한 번 압축한 파일은 기준보다 커져서, 다음 재실행 때는 같은 명령이 delete를 못 지움
앞선 글과의 관계
[ClickHouse] Iceberg Parquet 직접 읽기 글의 “트러블슈팅 ①”과 같은 테이블, 같은 DAG, 같은 원인 으로 6일 만에 다시 터진 사례
그때 원인과 대안을 기록했지만 백필 DAG에는 반영하지 않았음 → 이 글은 “왜 또 났나”까지 다룸
이어서 한 일 (9장)
같은 원인이 다른 테이블에도 있는지 레이크 전체(268개)를 점검 → 정비에서 빠진 delete+insert 테이블 6개를 더 찾아 등록, 과거 잔재 1회 정리
최대 6배이던 읽기 증폭을 7개 테이블 모두 1.0배로
0. Key Takeaways#
Iceberg의 DELETE는 두 종류 이고, 어느 쪽이 될지는 WHERE 절 모양이 정함
파티션 경계와 맞는 리터럴 조건 → 파일을 메타데이터에서 통째로 빼는 metadata delete (delete 파일 0)
그 밖의 조건, 특히 서브쿼리 → 지운 행의 위치를 적는 position delete (데이터 파일은 그대로 남음)
dbt-trino delete+insert는 항상 서브쿼리 조건 (where key in (select key from tmp))이라 지울 행이 있으면 position delete를 만듦
position delete는 “읽는 엔진이 적용해야 하는 약속” . Trino는 지키지만 Parquet를 직접 읽는 쪽(ClickHouse s3())은 모름 → 그대로 읽으면 지운 행이 살아나서 행 수가 2배
첫 실행과 재실행은 다른 코드 경로 . 빈 파티션에서는 지울 행이 없어 delete 파일이 안 생김 → 첫 백필 통과는 재실행 안전의 근거가 아님
optimize = delete를 반영한 재작성 . 대신 문서대로 기준 크기 미만 파일만 대상 → 기준은 “다시 써야 할 파일보다 크게” 잡아야 함
기록된 교훈은 코드 경로에 들어가기 전까지 고친 게 아님 . 같은 원인을 두 번째로 맞음
가드는 일을 했음 . 쓰기 전에 검사해서 4초 만에 실패 → 서빙 테이블은 한 행도 바뀌지 않음
문제 하나를 고쳤으면 같은 패턴을 전체에서 찾아야 함 . 이번 테이블만 고쳤다면 같은 쓰기 방식의 테이블 6개가 계속 최대 6배를 읽고 있었음
“자동 발견된 테이블도 정비된다”는 말을 기본값까지 확인해야 함 . 발견 기본값은 스냅샷 만료만 하고 optimize는 끔 → 정비 DAG가 돌아도 delete는 계속 쌓임
최근 N일만 압축하는 정비는 과거 파티션의 잔재를 영원히 못 지움 . 재백필이 과거 파티션에 남긴 delete는 1회 정리가 따로 필요함
증폭은 delete 행 수가 아니라 count(*)로 재야 함 . 어떤 행에도 적용되지 않는 delete(dangling)가 있으면 delete 행 수 기반 추정은 틀림
1. 배경# 1.1 무엇을 하던 중이었나#
대상 : 사람별 메시지 발송 요청 gold 테이블 (serialnumber grain)
Iceberg gold : dbt incremental, incremental_strategy='delete+insert', unique_key='send_day', day(send_day) 파티션
ClickHouse 서빙 : 같은 컬럼, PARTITION BY send_day
변경 : 알림톡 원천 템플릿 id 컬럼 template_id 추가
일 배치는 최근 3일만 다시 만드므로, 과거분은 백필 DAG로 한 달씩 다시 만들어야 함
백필 DAG 구조 (변경 전)
build_request dbt run + test (창: snapshot_date − rebuild_days ~ snapshot_date )
publish_request ClickHouse 가 Iceberg Parquet 를 s3 () 로 직접 읽어 staging 적재 → 일 파티션 교체
첫 백필 대상 : 7월 (07-06 ~ 07-31, 26일, 1.14억 행). 이 파티션들은 이미 데이터가 있음
1.2 증상# build_request success 11분
publish_request failed 4초
ValueError: iceberg.gold.<table> 2026-07-06: delete files present, parquet cannot be read directly
실패 후 상태
Iceberg gold : template_id 컬럼 추가, 7월 재적재 완료
ClickHouse : 아무 파티션도 교체 안 됨, staging 잔여 없음 → 7월은 옛 데이터 그대로 서빙
1주일 전 같은 DAG로 같은 테이블을 처음 채울 때는 성공했음
2. 원인 1: dbt delete+insert는 position delete를 만든다# 2.1 Iceberg는 파일을 고치지 않는다#
Iceberg 데이터 파일(Parquet)은 한 번 쓰면 수정하지 않음
그래서 “행을 지운다”를 표현하는 방법이 따로 필요함
방식 하는 일 남는 것 읽는 쪽 부담 Metadata delete 조건이 파티션 전체와 맞으면, 그 파티션의 파일들을 메타데이터에서 통째로 뺌 없음 없음 Position delete (v2, merge-on-read)데이터 파일은 두고 “파일 X의 N번째 행은 지워짐”을 적은 delete 파일 을 추가 옛 데이터 파일 + delete 파일 읽을 때 delete를 적용해야 함
Trino 문서 표현
파티션 삭제 : “the Iceberg connector supports the deletion of entire partitions if the WHERE clause specifies filters only on the identity-transformed partitioning columns, that can match entire partitions”
행 삭제 : “Tables using v2 of the Iceberg specification support deletion of individual rows by writing position delete files”
문서는 identity 파티션만 언급하지만, 이 테이블(day(send_day), send_day는 date)에서는 일 경계 리터럴 범위도 파티션 삭제로 실행됨 (아래 EXPLAIN으로 확인)
2.2 dbt-trino가 실제로 보내는 SQL#
dbt-trino 1.10.3 trino__get_delete_insert_merge_sql (unique_key가 문자열일 때)
insert into {{ target }} (...) ( select ... from {{ source }});
조건이 임시 테이블에 대한 서브쿼리
Trino가 계획 시점에 “이 DELETE는 파티션 전체를 지운다”고 증명할 수 없음 → 행 단위 삭제로 감
2.3 계획으로 확인 (EXPLAIN만, 실행 안 함)# └─ MERGE [ ... arguments = [operation, send_day, field::row ( "_file" , "_pos", ... ) ] ]
└─ SemiJoin[criteria = send_day = subquery]
├─ ScanFilter[table = ... $data , dynamicFilters = {send_day = #df}]
explain delete from <table>
where send_day >= date '2026-07-06' and send_day < date '2026-07-07' ;
Fragment 0 [COORDINATOR_ONLY]
└─ TableDelete[target = ... $data constraint on [send_day]]
코디네이터 혼자 메타데이터만 수정, 데이터 스캔 없음 → metadata delete
2.4 스냅샷 기록으로 확인#
커밋 operation 추가 데이터 파일 추가 delete 파일 position delete 행 바뀐 파티션 dbt DELETE delete 0 112 114,154,863 26 dbt INSERT append 105 0 26
읽는 법
7월 1.14억 행을 “지웠지만” 옛 데이터 파일은 그대로 있고, delete 파일 112개가 “이 행들은 무효”라고 표시
새 1.14억 행은 새 파일 105개로 들어옴
Trino로 count(*) 하면 1.14억 (delete 적용). 파일의 record_count를 그냥 더하면 2.28억
2.5 그럼 첫 백필은 왜 됐나#
첫 적재 때는 그 파티션들이 비어 있었음
delete ... where send_day in (...)가 지울 행이 0개 → delete 파일도 0개
즉 같은 SQL이라도 대상에 데이터가 있느냐 에 따라 남기는 파일이 다름
교훈 : 멱등성(재실행해도 같은 결과)은 두 번째 실행 을 해 봐야 확인됨. “결과 행”은 같아도 “부수 산출물(파일)“은 다를 수 있음
3. 원인 2: 직접 읽기는 delete 파일을 모른다# 3.1 발행 경로가 두 개#
경로 쓰는 곳 읽는 방법 delete 처리 Trino 경로 일 배치 Trino SELECT 결과를 ClickHouse로 스트리밍 Trino가 적용 해서 넘겨 줌파일 직접 경로 백필 Iceberg $files로 파일 목록 → ClickHouse s3()가 Parquet를 직접 읽음 아무도 적용 안 함
파일 직접 경로를 만든 이유 : 한 달 1.1억 행 발행이 84분 → 3분 (앞선 글)
대가 : Iceberg 엔진을 건너뛰므로, 엔진이 대신 해 주던 일(delete 적용 등)을 우리가 책임짐
3.2 그래서 가드가 있다#
파일 목록을 가져올 때 delete 파일(content != 0)이 하나라도 있으면 거부
if any (content != 0 for _, _, content in rows):
raise ValueError ( f " { label } : delete files present, parquet cannot be read directly" )
가드가 없었다면
데이터 파일 = 옛 파일 + 새 파일 → staging에 7월 2.28억 행
행 수 검사도 통과 함. 기대 행 수를 같은 파일 목록의 record_count 합으로 구하기 때문
그대로 파티션 교체 → 7월이 2배로 서빙
같은 출처끼리의 대조(파일 목록 vs 그 목록의 record_count)는 “잘못 고른 파일”을 못 잡음 → 다른 불변식(delete 파일 0)이 잡아야 함
3.3 일 배치는 왜 멀쩡한가#
일 배치도 매일 최근 3일을 delete+insert → 매일 position delete가 생김
하지만 Trino 경로로 발행하므로 Trino가 delete를 적용 → 결과는 정확
부작용은 누적
이 테이블은 정비(optimize) 대상이 아니어서 delete 파일이 계속 쌓여 있음 : 테이블 전체 delete 파일 74개, position delete 7,890만 행
예 : 11-04 파티션은 데이터 파일 record_count 합 2,692만, 실제 행 539만 → 약 5배 를 읽고 버림
정확성 문제는 아니고 Trino 읽기 비용 문제 → 9장에서 정비 대상에 추가하고 레이크 전체로 넓힘
4. 왜 optimize인가# 4.1 optimize가 하는 일# ALTER TABLE iceberg . gold . <table>
EXECUTE optimize(file_size_threshold => '128MB' )
WHERE send_day >= date '2026-07-06' AND send_day <= date '2026-07-31' ;
조건에 맞는 파티션의 데이터 파일을 읽어 delete를 적용한 결과로 새 파일을 씀
새 스냅샷에서는 옛 데이터 파일과 delete 파일이 빠짐 → 파일만 읽어도 정확
데이터 내용은 그대로. 옛 파일은 스냅샷 만료 전까지 남아 time travel로 되돌릴 수 있음
WHERE로 백필 창만 다시 씀 → 다른 달은 안 건드림
4.2 결과 (7월, 1분 25초)#
전 후 데이터 파일 옛 파일 + 새 105개 31개 delete 파일 112개 0개 record_count 합2.28억 114,154,863 Trino count(*) 114,154,863 114,154,863
이후 publish_request만 다시 실행 → 성공
ClickHouse 7월 114,154,863행 (전과 동일), 알림톡 행의 template_id 채움 99.91%
4.3 다른 선택지와 비교#
방법 장점 단점 선택 빌드 후 창 optimize 빌드 중에도 gold가 항상 차 있음. 기존 코드 재사용 창 전체를 다시 씀 (월 약 4.6GB, 1~2분) 채택 빌드 전 파티션 경계 리터럴 DELETE metadata delete라 공짜, delete 파일이 아예 안 생김 빌드가 끝날 때까지 gold에 그 달이 비어 있음. 빌드가 실패하면 구멍이 남음 앞선 사례에서 수동으로 씀 dbt microbatch 전략 dbt-trino 매크로가 리터럴 시간 조건만으로 DELETE → metadata delete 가능성 모델 전환 범위가 큼. 이 테이블에서 실제로 metadata delete가 되는지 미확인 보류 ClickHouse icebergS3() 엔진이 delete를 적용 버전 업그레이드 필요, 큰 delete 파일에서 느리다는 이슈 보류
정리 : 백필은 사람이 한 달씩 돌리는 작업이라 1~2분 재작성 비용은 문제가 안 됨. 빌드 중 gold가 비지 않는 쪽을 택함
5. 고치다 하나 더 : optimize는 기준 미만 파일만 다시 쓴다# 5.1 문서#
Trino 문서 : “All files with a size below the optional file_size_threshold parameter (default value for the threshold is 100MB) are merged in case any of the following conditions are met per partition”
조건 : 합칠 데이터 파일이 둘 이상 / delete 파일이 붙은 데이터 파일이 하나 이상
즉 delete가 붙어 있어도 기준보다 큰 파일 은 대상이라는 말이 없음 (명시도 안 됨)
5.2 왜 문제가 되나#
7월 압축 전 새 파일 : 평균 약 44MB → 전부 128MB 미만이라 다 다시 써짐
7월 압축 후 파일 : 평균 150MB, 최대 238MB → 31개 중 22개가 128MB 초과
다른 달도 이미 큰 파일이 있음
월 데이터 파일 128MB 초과 최대 07 31 22 238MB 08 107 3 157MB 09 123 11 211MB 10 116 1 135MB
시나리오 : 8월 백필 → dbt DELETE가 157MB 파일에도 position delete를 붙임 → 128MB 기준 optimize는 그 파일을 건너뜀 → delete 파일이 남음 → 발행 가드가 또 실패
데이터가 망가지지는 않음 (가드가 막음). 대신 같은 실패를 또 함
처음 고친 방식이 자기가 만든 결과(큰 파일) 때문에 다음 번에 안 통하는 구조
5.3 조치 : 기준을 창 전체를 덮는 크기로#
백필 optimize의 기준을 1GB로
근거 : 가장 큰 하루 파티션의 실제 데이터가 약 357MB (07-07, 880만 행) → 어떤 파일도 1GB를 넘지 않음
결과 : 창 안의 데이터 파일이 크기와 관계없이 전부 다시 써짐 → delete 파일이 남을 수 없음
남는 위험 : 하루 데이터가 1GB를 넘으면 다시 같은 구멍. 그때도 가드가 먼저 막으므로 조용히 틀리지는 않음
6. 최종 변경# build_request dbt run + test
compact_request ALTER TABLE ... EXECUTE optimize ( file_size_threshold = > '1GB' )
│ WHERE send_day > = <창 시작> AND send_day <= < 창 끝>
publish_request ClickHouse s3 () 직접 읽기 → 일 파티션 교체
optimize를 build_request 안이 아니라 별도 태스크 로 둔 이유
발행이 실패했을 때 발행만 다시 돌릴 수 있음
빌드를 다시 돌리면 delete 파일이 또 생기므로, 재시도 단위를 나누는 게 중요
optimize의 창은 발행 창과 같은 함수 (imc_request_days)로 계산 → 창이 어긋날 수 없음
테스트 : 7월 창(snapshot_date=2026-07-31, rebuild_days=30)이 07-06 ~ 07-31 범위 optimize SQL로 나오는지 고정
7. 왜 두 번째로 맞았나#
11-04에 다른 컬럼을 추가하며 9월 파티션을 다시 만들다 같은 실패를 겪었고, 그때 글로 원인과 대안까지 정리했음
그때 조치 : 파티션 경계 리터럴로 먼저 지우고 백필 재실행 (수동)
그때 적은 대안 : 쓰기 방식 변경 / 발행 전 optimize / icebergS3()
하지만 백필 DAG에는 아무것도 넣지 않았음 → 다음 사람(다음 달의 나)은 같은 DAG를 그대로 돌림
배운 것
운영 절차에 “먼저 X를 하라”가 필요하면, 그 X는 DAG의 태스크 가 되어야 함
회고 문서의 “선택지 표”는 결정이 아님. 하나를 골라 코드로 넣는 데까지가 조치
8. 결과 : 남은 달은 수동 조치 없이 끝남#
배포 후 8월부터 11/07까지 한 달씩 백필. 모두 build → compact → publish 한 번에 성공
기간 build compact publish CH 행 수 (= Iceberg) 알림톡 template_id 채움 07 (수동 optimize 후 publish 재실행) 11분 1분 25초 몇 분 114,154,863 99.91% 08 6분 2분 4분 111,630,260 99.91% 09 10분 2분 4분 140,342,925 99.87% 10 6분 2분 4분 114,401,035 99.88% 11 (01~07) 3분 1분 1분 27,806,731 99.88%
9월은 압축 전부터 128MB 초과 파일이 11개 있던 달. 1GB 기준에서 delete 0으로 끝남 → 5장의 우려가 실제였고 조치가 맞았음
압축 후 하루 파일은 230~305MB → 다음 재실행 때도 1GB 기준 안에 들어옴
9. 레이크 전체로 넓히기 : 정비에서 빠진 테이블 찾기#
3.3에서 본 “delete가 쌓이는데 압축이 안 되는” 상태가 이 테이블만의 문제인지 확인
9.1 왜 빠져 있었나 : 발견 기본값#
정비 DAG는 두 경로로 대상을 만듦
registry : 사람이 직접 등록. optimize, 창, 기준 크기를 지정
자동 발견 : gold·silver 스키마의 나머지 Iceberg 테이블을 매일 찾아 기본 정비를 붙임
자동 발견 기본값
IcebergTableMaintenance(table, optimize = False , remove_orphan_files = False )
즉 발견된 테이블은 스냅샷 만료만 함. optimize는 꺼져 있음
코드에는 “압축이 필요한 gold·silver는 registry에 둔다”는 주석만 있고 이유는 적혀 있지 않음. 큰 테이블 전체 optimize가 30분 쿼리 제한을 넘는 것을 피하려는 보수적 기본값으로 추정
결과 : dbt delete+insert로 매일 다시 쓰는 gold·silver 테이블이 registry에 없으면, “정비되는 중”으로 보이지만 delete는 계속 쌓임
9.2 점검 방법#
Iceberg 테이블 268개 전부의 $files를 조회해 데이터 파일 수, 작은 파일 수, delete 파일 수, delete 행 수를 수집
정비 계획(maintenance_plan())과 대조해 optimize가 켜져 있는지 표시
delete 파일이 있는 20개는 실제 증폭 을 따로 계산
증폭 = sum ( record_count where content = 0 ) / count ( * )
9.3 함정 : delete 행 수로 증폭을 추정하면 틀린다#
처음에는 파일 행 수 / (파일 행 수 − delete 행 수)로 추정함
tma_bronze.cafe24_customersprivacy : 추정 3.7배 , 실제 count(*)로 재면 1.0배
한 파티션을 열어 보니
파일 행 수 데이터 파일 1개 120,419 position delete 파일 1개 120,419 count(*)120,419
delete 파일이 지우겠다는 행이 지금 데이터 파일에 하나도 없음 → 이미 다시 쓰여 사라진 옛 파일을 가리키는 dangling delete
테이블 전체로도 count(*) = 데이터 파일 행 수 합 → delete 138개가 전부 dangling
Trino optimize는 이 delete를 지우지 않았음 (optimize 직후 스냅샷에도 138개 그대로, 관측)
교훈 : delete 파일의 “개수”나 “행 수”는 비용의 근사일 뿐. 증폭은 반드시 살아 있는 행 수와 비교
9.4 점검 결과#
테이블 쓰기 정비 상태 실제 증폭 원인 분류 silver.int_tas__humuson_id_messagedelete+insert 7일 미등록 6.1배 발견 기본값 silver.int_tas__unmatched_email_recipientdelete+insert 7일 미등록 5.7배 발견 기본값 silver.int_tas__message_recipientdelete+insert 7일 등록 (최근 7일) 4.6배 창 밖 과거 잔재 gold.fct_tas_humuson_id_recipientdelete+insert 7일 미등록 2.8배 발견 기본값 gold.fct_tas_campaign_user_senddelete+insert 7일 미등록 2.0배 발견 기본값 silver.int_tas__campaign_send_targetdelete+insert 7일 미등록 2.0배 발견 기본값 gold.fct_tas_user_daily_snapshotdelete+insert 당일 미등록 1.4배 발견 기본값 gold.fct_imc_humuson_id_requestdelete+insert 3일 미등록 1.15배 (11-04는 5배) 이 글의 테이블 gold.fct_tas_access_log하루 100번 이상 overwrite 등록 (전체) 4.2배 밤마다 0으로 정리, 낮에 다시 쌓임 → 정상 tma_bronze.cafe24_customersprivacy 외 1개등록 1.0배 dangling delete만 남음 → 보류
가장 눈에 띈 것 : 이미 등록된 int_tas__message_recipient가 4.6배
delete 파일 1,347개 중 1,340개가 5~10월 파티션 → 정비 창(최근 7일) 밖
과거 재백필이 남긴 잔재로 보임. 최근 7일만 압축하는 정비는 이걸 영원히 못 지움
9.5 조치 1 : registry 등록#
일 단위 delete+insert 테이블 7개를 같은 규칙으로 등록, 기존 int_tas__message_recipient도 같은 규칙으로
optimize_partition_column = column, # send_day 또는 snapshot_date
optimize_partition_days = 7 ,
file_size_threshold = "1GB" ,
창 7일 : 각 테이블을 쓰는 DAG의 재작성 창(3일 또는 7일) 이상이어야 전날 만든 delete가 다음 날 새벽에 정리됨
테스트로 고정 : optimize_partition_days >= 해당 DAG의 REBUILD_DAYS. 누가 재작성 창을 늘리면 테스트가 깨짐
기준 1GB : 5장과 같은 이유. 압축된 하루 파일이 128MB를 넘으면 다음 날 delete가 안 지워짐
근거 : 7개 테이블의 가장 큰 하루 파티션이 지운 행 포함 896MB → 실제 데이터는 그보다 훨씬 작음
비용 : 이미 압축된 파티션(파일 1개, delete 없음)은 optimize 조건에 안 걸려 건너뜀 → 매일 실제로 다시 쓰는 건 그날 바뀐 며칠뿐
9.6 조치 2 : 과거 잔재 1회 정리#
정비 창 밖의 delete는 따로 지워야 함. 테이블마다 delete가 있는 달만, 월 단위로 optimize
ALTER TABLE iceberg. <schema> . <table>
EXECUTE optimize(file_size_threshold => '1GB' )
WHERE send_day >= date '2026-05-01' AND send_day < date '2026-05-01' + interval '1' month ;
월 단위로 나눈 이유 : 한 문장이 길어지면 정비 쿼리 제한(30분)에 걸리고, 실패해도 그 달만 다시 하면 됨
안전장치 : 테이블마다 전후 count(*)를 비교하고, 하나라도 다르면 중단
결과 (7개 테이블, 약 51GB, 16분, 가장 긴 한 달 72초)
테이블 증폭 데이터 파일 delete 파일 실제 행 수 int_tas__humuson_id_message6.14 → 1.0 1,143 → 194 949 → 0 33,015,942 (동일) int_tas__unmatched_email_recipient5.74 → 1.0 1,660 → 194 1,355 → 0 290,875,419 (동일) int_tas__message_recipient4.63 → 1.0 1,713 → 194 1,347 → 0 326,599,322 (동일) fct_tas_humuson_id_recipient2.83 → 1.0 502 → 194 308 → 0 33,743,462 (동일) fct_tas_campaign_user_send2.04 → 1.0 104 → 17 87 → 0 646,981 (동일) int_tas__campaign_send_target1.97 → 1.0 100 → 17 83 → 0 646,981 (동일) fct_tas_user_daily_snapshot1.42 → 1.0 169 → 119 50 → 0 21,522,144 (동일)
message_recipient는 실제 3.3억 행을 읽으려고 파일 15억 행을 열던 상태 → 이제 3.3억 행만 읽음
9.7 손대지 않은 것과 이유#
dangling delete만 남은 테이블 (cafe24_customersprivacy 138개, cafe24_webhook_logs 113개) : 증폭 1.0. 비용은 작은 파일을 여는 것뿐이라 보류. Trino optimize로는 안 지워짐 (Spark의 position delete 재작성 계열로 검토)
fct_tas_access_log 4.2배 : 하루 100번 이상 overwrite(3일 380회) → 밤 정비가 0으로 만들고 낮에 다시 쌓이는 정상 주기. 141만 행이라 비용 작음
imc_bronze.request_log : 실제 delete 8개가 696MB 파일에 붙어 128MB 기준으로는 안 지워짐. 증폭 1.0이라 보류. 5장과 같은 함정의 소규모 사례
근본 대안 : 재작성 창을 파티션 경계 리터럴로 먼저 지워 metadata delete를 쓰면 delete 파일이 아예 안 생김. 압축 비용도, 백필 compact도 필요 없어짐. 대신 빌드 중 gold가 비고 실패 시 구멍 → 이번에는 기존 정비 틀에 맞춘 쪽을 택함
10. 덤 : manual run은 tasks clear의 날짜 필터에 안 잡힌다#
실패한 publish_request만 다시 돌리려고 airflow tasks clear -t publish_request -s <날짜>를 했지만 아무 일도 없었음. --only-failed도 마찬가지
Airflow 3에서 manual trigger run은 logical_date가 비어 있고, CLI clear는 날짜 기준으로 대상을 찾기 때문으로 보임
해결 : scheduler pod에서 ORM으로 그 run의 그 task 하나만 지정해 clear
from airflow.models.taskinstance import TaskInstance, clear_task_instances
from airflow.utils.session import create_session
with create_session() as session:
tis = session.query(TaskInstance).filter(
TaskInstance.dag_id == "<dag_id>" ,
TaskInstance.run_id == "<run_id>" ,
TaskInstance.task_id == "publish_request" ,
assert len (tis) == 1 # 정확히 하나만 건드리는지 먼저 확인
clear_task_instances(tis, session)
--only-failed를 날짜 없이 쓰면 그 DAG의 다른 실패 run 까지 지울 수 있으므로 주의 (이번에는 실패 run이 둘이었음)
Concept
Metadata Delete : 조건이 파티션 전체와 맞을 때 파일을 메타데이터에서 통째로 빼는 삭제. 데이터를 읽지 않고 delete 파일도 남기지 않음
Position Delete File : “어느 파일의 몇 번째 행이 지워졌는가”를 적은 Iceberg v2 파일. 읽는 엔진이 적용해야 올바른 결과가 나옴
Merge-on-Read (MoR) : 변경을 별도 파일로 적고 읽을 때 합치는 방식. 쓰기는 싸지만, 읽는 쪽이 규칙을 모르면 틀린 결과를 읽음
SemiJoin DELETE : where k in (select ...) 형태의 DELETE. 계획 시점에 파티션 단위로 증명되지 않아 행 단위 삭제가 됨
Compaction (optimize) : 작은 파일을 합치고 delete를 반영해 다시 쓰는 작업. 내용은 그대로, 파일 배치만 바뀜
File Size Threshold : optimize가 다시 쓸 파일을 고르는 크기 기준. 기준 이상인 파일은 delete가 붙어 있어도 대상이라는 보장이 없음
First-Run vs Rerun : 같은 SQL도 대상이 비었을 때와 찼을 때 다른 부수 산출물을 만듦. 멱등성 시험은 재실행까지
Engine Bypass Contract : 엔진을 건너뛰고 파일을 직접 읽으면, 엔진이 지키던 규칙(delete 적용, 현재 파일 선택)을 직접 지켜야 함
Fail-Fast Guard : 쓰기 전에 전제를 검사해 즉시 실패하는 장치. 조용한 2배 적재를 4초짜리 실패로 바꿈
Retry Granularity : 재시도 단위를 부수효과 경계에 맞춰 나누는 것. 빌드를 다시 하면 delete가 또 생기므로 압축·발행을 별도 태스크로
Read Amplification : 실제로 필요한 행보다 많이 읽는 비율. Iceberg에서는 파일에 적힌 행 수 ÷ 살아 있는 행 수로 잼
Dangling Delete : 이미 사라진 데이터 파일을 가리켜 아무 행에도 적용되지 않는 delete 파일. 증폭은 없지만 delete 행 수 기반 추정을 틀리게 만들고, Trino optimize로 안 지워짐
Discovery Default : 자동으로 찾은 대상에 붙는 기본 설정. “정비된다”는 말이 무엇을 정비하는지는 기본값이 정함
Rolling-Window Maintenance : 최근 N일만 정리하는 정비. 일 배치가 만드는 쓰레기는 따라잡지만, 창 밖 과거 파티션에 남은 쓰레기는 영원히 못 지움
Pattern Sweep : 장애 하나를 고친 뒤 같은 원인 패턴을 시스템 전체에서 찾는 일. 이번엔 테이블 1개 → 7개
부록 : 진단 SQL# -- [Trino] DELETE 가 metadata delete 인지 position delete 인지 (실행 안 함)
-- TableDelete 만 보이면 metadata delete, SemiJoin/MERGE + _file/_pos 가 보이면 position delete
explain delete from iceberg. <schema> . <table>
where send_day >= date '2026-07-06' and send_day < date '2026-07-07' ;
-- [Trino] 어떤 커밋이 delete 파일을 만들었나. 키가 없을 수 있어 element_at
select committed_at, operation,
element_at(summary, 'added-data-files' ),
element_at(summary, 'added-delete-files' ),
element_at(summary, 'added-position-deletes' ),
element_at(summary, 'total-delete-files' )
from iceberg. <schema> . "<table>$snapshots"
order by committed_at desc ;
-- [Trino] 파티션별 파일 구성. content 0 = 데이터, 1 = position delete, 2 = equality delete
select "partition" , content, count ( * ), sum (record_count), max (file_size_in_bytes)
from iceberg. <schema> . "<table>$files"
group by 1 , 2 order by 1 , 2 ;
-- [Trino] optimize 기준을 넘는 파일이 창 안에 있는가 (있으면 그 파일의 delete 는 안 지워질 수 있음)
select count_if(file_size_in_bytes > 128 * 1024 * 1024 )
from iceberg. <schema> . "<table>$files"
where content = 0 and "partition" .send_day_day between date '<시작>' and date '<끝>' ;
-- [Trino] 테이블 단위 실제 증폭. delete 행 수로 추정하지 말 것 (dangling delete)
select ( select sum (record_count) from iceberg. <schema> . "<table>$files" where content = 0 )
* 1 . 0 / ( select count ( * ) from iceberg. <schema> . <table> ) as amplification;
-- [Trino] dangling delete 의심: 파티션 하나에서 데이터 행 수 = 살아 있는 행 수인데 delete 파일이 있으면 그 delete 는 적용 대상이 없음
select content, count ( * ), sum (record_count)
from iceberg. <schema> . "<table>$files"
where "partition" . < part > _day = date '<일>'
select count ( * ) from iceberg. <schema> . <table> where < part > = date '<일>' ;
-- [Trino] 창 밖 과거 잔재: delete 파일이 어느 달에 몰려 있나
select date_format ( "partition" . < part > _day, '%Y-%m' ) m, count_if(content = 1 ) delete_files, count_if(content = 0 ) data_files
from iceberg. <schema> . "<table>$files"
-- [Trino] 읽기 증폭: 파일에 적힌 행 수 vs 실제 행 수
select ( select sum (record_count) from iceberg. <schema> . "<table>$files"
where content = 0 and "partition" .send_day_day = date '<일>' ) as file_rows,
( select count ( * ) from iceberg. <schema> . <table> where send_day = date '<일>' ) as live_rows;
더 공부할 것#
Trino Iceberg optimize 내부 : 기준 이상 파일 중 delete가 붙은 파일을 실제로 다시 쓰는지 (문서 미명시, 버전별 확인 필요)
dbt incremental_predicates와 microbatch : DELETE를 리터럴 조건으로 만들어 metadata delete를 유도할 수 있는지
Iceberg v3 Deletion Vector : position delete 파일 대신 파일별 비트맵. 누적 문제를 어떻게 줄이는지
Copy-on-Write 모드 : write.delete.mode=copy-on-write일 때 Trino DELETE가 파일을 다시 쓰는지와 그 비용
Rewrite Position Delete Files : delete 파일만 합치는 Spark 프로시저와 데이터 파일 재작성의 차이
Dangling delete 제거 : Iceberg Spark의 dangling delete 정리 동작과 Trino에서 대안이 있는지
정비 기본값 설계 : 자동 발견 테이블에 “delete 파일이 생기면 압축”처럼 조건부 optimize를 켜는 방식이 가능한지