01. Overview#

ClickHouse에서 FINAL 키워드는 MergeTree 계열 테이블에서 아직 물리적으로 Merge되지 않은 중복/삭제/버전 데이터를, 쿼리 시점에 강제로 정리해서 읽는 키워드

1
SELECT * FROM events FINAL WHERE user_id = 123;

-> background merge 결과를 기다리지 않고, 쿼리 시점에 논리적 최종 상태를 강제 계산

1
[Part 1] user_id=1, status='active', version=1
2
[Part 2] user_id=1, status='inactive', version=2   ← 같은 키, 다른 Part
3
[Part 3] user_id=1, status='active', version=3

02. ReplacingMergeTree 동작 원리#

ReplacingMergeTree는 동일한 ORDER BY 키를 가진 행 중 최신 버전만 유지하는 엔진이다.

1
CREATE TABLE user_status ㅓ(
2
    user_id UInt64,
3
    status String,
4
    version UInt64
5
) ENGINE = ReplacingMergeTree(version)
6
ORDER BY user_id;

• 문제는 유지의 시점
• 기본적으로 중복 제거는 INSERT 시점이 아니라 Merge 시점에 일어남
• Merge 타이밍은 비결정적이므로, 쿼리 시점에 중복이 보일 수 있음

03. FINAL 사용 시점#

04. FINAL 동작 방식과 성능 특성#

1
┌─────────────────────────────────────────┐
2
│           FINAL 처리 흐름               │
3
├─────────────────────────────────────────┤
4
│  Part1 ──┐                              │
5
│  Part2 ──┼──→ [Merge 연산] ──→ 결과     │
6
│  Part3 ──┘    (쿼리 시점)               │
7
└─────────────────────────────────────────┘

1
-- 느림: 전체 테이블 스캔 + FINAL
2
SELECT * FROM events FINAL;
3

4
-- 빠름: Primary Key 필터링 + FINAL
5
SELECT * FROM events FINAL WHERE user_id = 123;

1
SET do_not_merge_across_partitions_select_final = 1;

05. FINAL 대안들#

1
SELECT
2
    user_id,
3
    argMax(status, version) AS latest_status
4
FROM user_status
5
GROUP BY user_id;

1
OPTIMIZE TABLE user_status FINAL;

06. 사용 패턴#

Case 1: 단일 사용자 조회 - FINAL 적합

1
SELECT * FROM user_status FINAL WHERE user_id = 12345;

Case 2: 대시보드 집계 - argMax 권장

1
SELECT status, count() AS cnt
2
FROM (
3
    SELECT user_id, argMax(status, version) AS status
4
    FROM user_status GROUP BY user_id
5
)
6
GROUP BY status;

Concept

• FINAL(clickHouse) : MergeTree 계열 테이블에서 아직 물리적으로 merge되지 않은 중복/삭제/버전을, 쿼리 시점에 강제로 정리해서 읽게하는 키워드
• Part : INSERT된 데이터가 저장되는 불변의 데이터 조각, Merge 전까지 독립 존재
• Merge(clickHouse) : 여러 Part를 하나로 병합하며 중복 제거/삭제 반영하는 백그라운드 작업
• ReplacingMergeTree : 동일 ORDER BY 키의 행 중 최신 버전만 유지하는 clickhouse 엔진
• argMax : 특정 컬럼이 최대값일 때의 다른 컬럼 값을 반환하는 집계 함수

Key Takeaways

• FINAL은 물리적 Merge 없이도 쿼리 시점에 중복/삭제/버전을 정리해서 깨끗한 결과를 반환한다
• 소규모 조회에는 FINAL이 적합하지만, 대용량 분석에서는 argMax 등 대안을 고려해야 한다
• FINAL의 성능은 WHERE 조건으로 범위를 좁힐수록 개선된다.(index 태워야함)
• 정확성 vs 성능 Trade-off에 따라 FINAL, argMax, OPTIMIZE FINAL 중 선택