파이프라인 레이어(컴퓨팅)에서 무거운 병합 연산을 직접 수행하는 전통적인 방식.

Airflow에서 SparkSubmitOperator를 통해 실행된 PySpark 애플리케이션이 로컬 개발 환경에서는 잘 동작하지만, YARN 클러스터 환경에서는 configparser.NoSectionError를 발생시키며 실패하는 현상을 다룸

ClickHouse에서 FINAL 키워드는 MergeTree 계열 테이블에서 아직 물리적으로 Merge되지 않은 중복/삭제/버전 데이터를, 쿼리 시점에 강제로 정리해서 읽는 키워드

전체 교체 패턴

두 방식의 결정적 차이를 정리하면:

Incremental Loader는 단순히 행의 최신 상태만 가져오지만, CDC는 변경의 전체 이력을 제공함

데이터를 한 위치에서 다른 위치로 복제하는 패턴

Compaction은 이 문제를 다음과 같이 해결합니다.