6699 words
33 minutes
[CDC]03. CDC + 배치 서빙: 복제본과 마감분을 경계 하나로 잇기
- CDC 복제본 위에 마트를 얹을 때 부딪히는 문제
- 원천 테이블이 너무 커서 복제본에 전체 이력을 둘 수 없음 → TTL로 최근 며칠만 보관
- 배치는 하루 한 번이라 오늘 값이 없음
- 원천을 폴링하면 primary DB 부하 → CDC로 없애려던 것
- 해법 : 마감된 과거는 배치 테이블에서, 아직 안 닫힌 최근은 CDC 복제본에서 읽어 하나의 view로 보여 줌
- 세 줄 요약
- 무엇인가 : 배치 마감분 + CDC tail을 하나의 view로 합치는 서빙 구조. 복제본만 쓰는 형태를 S1, 마감분과 합치는 형태를 S2로 부름
- 왜 필요한가 : 원천이 수천만 행이라 복제본에 3일치만 둠. 전 기간은 배치로, 오늘은 CDC로 읽어야 “전 기간 + 실시간”을 같이 얻음
- 핵심 규칙 : 나누는 기준은 키가 아니라 시점 하나. 그 시점은 배치가 데이터와 함께 기록하고,
TTL > 배치 장애 허용 시간 + 마감 지연을 지켜야 함
- 여기서 다루는 내용
- S1/S2 선택 기준과 경계 설계
- 구현 사례 3가지 : 단순 집계형, 병합형, 원본 로그형
- 실패 모드 : 구멍, 되돌림, 조용한 정지
- 새 마트에 적용할 때 체크리스트
1. 왜 CDC만으로도, 배치만으로도 안 되나
1.1 요청의 모양
- 출발은 대시보드 요청
- 스케줄별 결과 코드 건수를 원천 DB에서 매번 세면 큰 사이트는 조회 한 번에 약 2.5초
- 요청 조건
- 값은
SELECT SCHD_ID, ERROR_CODE, COUNT(*) ... GROUP BY와 같아야 함 - 보관은 원장 이상 (과거분 백필 포함)
- 갱신은 가능한 한 실시간
- 값은
| 후보 | 전 기간 | 실시간 | 문제 |
|---|---|---|---|
| 복제본만 | ✕ TTL 3일 | ○ | 최근 3일만 있음 |
| 배치만 | ○ | ✕ 하루 지연 | 하루 한 번 적재 |
| 원천 폴링 | ○ | △ | primary 부하 |
| 마감분 + 복제본 tail | ○ | ○ | 경계·TTL을 관리해야 함 |
- 원장에 TTL을 건 이유는 크기
- 수천만 행 원장 하나만 TTL 3일
- 약 100만 행인 작은 테이블들은 전체 이력을 그대로 둠
1.2 패턴 선택
전체 이력을 CDC 복제본에 둘 수 있나?│├─ 예 (기본) ──▶ S1. CDC 단독│ TTL 없음 · _batch 없음 · 재적재 없음│└─ 아니오 ─────▶ S2. 마감분 + 미마감 CDC CDC 는 TTL 로 최근분만 · 마감분은 _batch| S1 | S2 | |
|---|---|---|
| 복제본 | 전체 이력 | TTL로 최근분만 |
| 배치 | 없음 | 마감분 _batch |
| 이름 | <name> 하나 | 마감분 <name>_batch, 조회 view <name> |
| 삭제 처리 | FINAL + is_deleted = 0으로 자연히 빠짐 | tail은 같고, 마감분은 그 파티션이 다시 읽힐 때만 반영 |
| 복구 | 재스냅샷 + 재계산 | 배치 재실행, tail은 재스냅샷 |
- 기본은 S1. S2는 원천이 커서 어쩔 수 없을 때만 씀
- S1/S2를 가르는 것은 원천 크기와 primary 부하
- “값이 늦게 바뀌는가”는 기준이 아님
- 늦은 갱신은 S1이면 그대로 반영되고, S2면 마감분 재계산 범위로 흡수함
- 이름 규칙 : 마감분 물리 테이블이
_batch로 비켜나고, 조회 이름은 view가 가져감 → 소비자는<name>만 봄
Concept
- S1 (CDC 단독) : 전체 이력을 복제본에 두고 그 위에서 마트를 계산하는 형태. 기본 선택
- S2 (마감분 + 미마감 CDC) : 복제본은 TTL로 최근분만 두고, 과거는 배치 테이블에서 읽어 view로 합치는 형태
- TTL : 정해진 기간이 지난 행을 ClickHouse가 지우는 설정. 복제본 크기를 묶는 장치이자 S2의 제약
- Lambda Serving : 배치 뷰와 실시간 뷰를 조회 때 합치는 고전적 구조. S2는 이것의 ClickHouse 내부 구현
2. S2의 구조: 시점 하나로 나눔
시간 ───────────────────────────┬──────────────▶ 현재 마감 시점 │_batch ■■■■■■■■■■■■■■■■■■■■■■■■│CDC │■■■■■■■■■■■■■■ (TTL 로 오래된 것부터 만료) │view ◀───── 배치 값 ─────────┼── CDC 값 ───▶- 지켜야 할 조건 세 가지
- 겹치지 않음 : 한쪽은
< 경계, 다른 쪽은>= 경계→ 이중 집계 없음 - 비지 않음 : 경계 이후 행이 아직 복제본에 있어야 함 → TTL 조건
- 경계는 데이터에서 옴 : 배치 내용과 경계가 같은 원자 단위로 움직여야 “배치에 이미 있는데 tail에서 또 읽는” 상황이 없음
- 겹치지 않음 : 한쪽은
2.1 경계를 어디에 둘까
| 사례 | 경계 | 저장 위치 | 단위 | 포함 관계 |
|---|---|---|---|---|
| 집계 마트 | closed_before | 배치 테이블의 컬럼 (전 행 동일) | 날짜 | 배치 <, CDC >= |
| 병합형 마트 | cutoff | 별도 cutoff 테이블 | 초 | 배치 <, rt >= |
| 원본 로그형 | max(event_date) | 배치에서 계산 | 날짜 | 배치 <=, 원본 > |
- 마지막 칸에 주의
closed_before,cutoff는 배타 상한 (그 값부터 tail)max(event_date)는 포함 상한 (그 값까지 배치)- → 뜻을 이름으로 드러내야 틀리지 않음
| 저장 방식 | 장점 | 약점 |
|---|---|---|
| 배치 컬럼 | 교체와 경계가 같은 EXCHANGE로 움직임 | 전 행에 같은 값이 들어감 |
| 별도 테이블 | 파티션 단위 교체에도 쓸 수 있고 이력이 남음 | 교체와 원자적이지 않아 순서를 설계해야 함 |
| 배치에서 계산 | 추가 저장 없음 | 미마감일이 배치에 들어가면 경계가 저절로 올라감 |
2.2 경계를 today()로 두면 안 되는 이유
- 배치가 늦게 끝나면 자정에 경계는 올라갔는데 배치에는 어제 값이 없음 → 구멍
- 경계는 달력이 아니라 배치가 실제로 담은 범위를 따라야 함
Concept
- Watermark (마감 시점) : 이 시점 이전은 배치가 책임진다고 선언하는 값. 스트리밍의 watermark는 완결성 추정이지만 여기서는 배치가 선언함
- Exclusive / Inclusive Upper Bound : 경계 값 자체가 어느 쪽에 속하는가. 양쪽 조건에서 반드시 대조해야 함
- Boundary Atomicity : 배치 내용과 경계 값이 같이 바뀌어야 겹치거나 비지 않는다는 원칙
3. 구현 ①: 가장 단순한 S2 (집계 마트)
- 경계가 시점으로 완전히 나뉘는 교과서형
-- 조회 view (요약)from ( -- 마감분 select camp_id, schd_id, error_code, cnt from gold.agg_error_code_batch where execute_date < (select max(closed_before) from gold.agg_error_code_batch) union all -- tail: 복제본을 조회 시점에 GROUP BY select toString(assumeNotNull(ma_id)) as camp_id, assumeNotNull(schd_id) as schd_id, ifNull(error_code, '') as error_code, toInt64(count()) as cnt from cdc.target_list final where is_deleted = 0 and schd_id is not null and execute_at >= toDateTime((select max(closed_before) from gold.agg_error_code_batch), 'Asia/Seoul') group by camp_id, schd_id, error_code) as u3.1 흐름
원천 DB ─ 일 배치 02:00 ─▶ Iceberg bronze (execute_date 파티션 덮어쓰기) │ 마트 배치 (*/10) ▼ Iceberg gold.agg_error_code_batch closed_before = max(loaded_at) 의 KST 날짜 │ EXCHANGE 발행 ▼ CH gold.agg_error_code_batch ─────┐ ├─▶ view agg_error_code원천 DB ─ Debezium ─▶ CH cdc.target_list ─────┘ (TTL 3일)- 배치 쪽은 교체 발행 → 내용과 경계가 한 번의
EXCHANGE로 같이 움직임 → 순서 문제 없음 - tail은 저장하지 않음. 조회할 때
FINAL로 세므로 신선도 = CDC 지연 - 주의 :
closed_before가 “담은 범위”가 아니라 “적재 시각의 벽시계”에서 오면, 자정을 넘긴 백필 run이 경계만 올려 구멍을 낼 수 있음
3.2 마감 후 값이 바뀌면
- bronze가 고정 창이 아니라 개정 컬럼 탐지(
UPDATED_AT)로 적재한다면
| 행이 바뀐 때 | 반영 |
|---|---|
| 경계 이후 | 복제본이 곧바로 반영 |
경계 앞, UPDATED_AT 갱신됨 | 나이와 무관하게 다음 bronze에서 반영 |
경계 앞, UPDATED_AT 안 바뀜 | 반영 안 됨 |
| 경계 앞, 원천 DELETE | 못 잡음. 탐지할 행이 없음 |
- “늦은 갱신은 마감분 재계산 범위로 흡수한다”의 구체적인 내용
- 이 표는
UPDATED_AT이 믿을 만하다는 전제 위에 있음
3.3 함정: 별칭이 필터를 가림
- ClickHouse는
SELECT별칭을WHERE에서 먼저 찾음 - 위 SQL의
assumeNotNull(schd_id) as schd_id가 같은 단계의schd_id is not null을 가림- →
schd_id is not null이 원본 컬럼이 아니라assumeNotNull된 값을 검사 → 항상 참 - → NULL이
0으로 집계됨
- →
- 해결 : 원 컬럼 필터는 안쪽 서브쿼리에 둠
select assumeNotNull(schd_id) as schd_id, ...from ( select * from cdc.target_list final where is_deleted = 0 and schd_id is not null -- 원본 컬럼 기준으로 먼저 거름)Concept
- Query-Time Tail Aggregation : 미마감 구간을 저장하지 않고 조회할 때 복제본에서 계산하는 방식. 신선도가 곧 CDC 지연
- FINAL :
ReplacingMergeTree에서 병합 전 중복을 읽을 때 정리하는 키워드.is_deleted = 0과 같이 씀 - Recompute Window : 마감분을 다시 읽는 범위. 고정 창이거나 개정 컬럼 탐지. 범위가 못 잡는 원천 변경은 배치에 들어오지 않음
- Alias Shadowing (ClickHouse) : SELECT 별칭이 WHERE의 같은 이름 컬럼을 가리는 동작. 원 컬럼 필터는 안쪽 서브쿼리에 둠
4. 구현 ②: 시점으로 안 끝나는 S2 (병합형 마트)
- 행의 값이 사건 둘(발송, 유입)에 걸리는 마트
- 마감 경계와의 조합이 세 가지로 나옴
| 발송 | 유입 | 어디서 나오나 | in_batch |
|---|---|---|---|
| 마감 전 | 마감 전 | 배치 그대로 | 해당 없음 |
| 마감 전 | 마감 후 | 배치 행에 rt 유입을 더함 | 1 |
| 마감 후 | 마감 후 | rt 행을 이어 붙임 | 0 |
- 두 번째 줄 때문에 UNION만으로 안 됨 → LEFT JOIN + UNION ALL
SELECT b.* REPLACE ( toUInt32(b.inbound_click_cnt + coalesce(r.rt_click_cnt, 0)) AS inbound_click_cnt, ... ), toUInt8(0) AS is_rt_partial, ...FROM gold.fct_user_send_batch AS bLEFT JOIN (SELECT ... FROM gold.fct_user_inbound_rt WHERE in_batch = 1 AND cutoff = (현재 cutoff)) AS r ON (키 4개)UNION ALLSELECT p.* EXCEPT (cutoff, in_batch), toUInt8(1) AS is_rt_partial, ...FROM gold.fct_user_inbound_rt AS pWHERE p.in_batch = 0 AND p.cutoff = (현재 cutoff)4.1 두 배치의 맞물림
| 일 배치 | 실시간 배치 | |
|---|---|---|
| 주기 | 매일 05:00 | 5분마다 |
| 경로 | Iceberg dbt → ClickHouse 발행 | ClickHouse 안에서 SQL 단계 실행 |
| 산출 | _batch, cutoff | _inbound_rt (EXCHANGE) |
| 경계 | 씀 (오늘 00:00) | 읽음 |
- 실시간 배치 한 회
- 신선도 가드 : 복제본 최근 수신이 60분을 넘으면 실패
- cutoff 읽기 : cutoff가 비었거나 2일을 넘으면 실패
- 배치 캐시 : cutoff가 바뀌었을 때만 배치에서 필요한 부분(기여 가능 발송·캠페인·회차)을 다시 추림 → 5분마다 큰 배치를 읽지 않으려는 장치
- 증분 계산 : 단계 테이블을 만들고 staging을
EXCHANGE - view 동기화 : 배치와 view의 컬럼이 어긋나면 view 교체
4.2 cutoff 태깅
- 핵심 : rt 행이 자기가 계산된 cutoff를 달고 있고, view는
cutoff = 현재만 읽음 - 경계가 바뀌면 옛 증분은 저절로 view에서 빠짐
4.3 왜 cutoff를 교체 전에 쓰나
- cutoff 기록과 파티션 교체는 원자적으로 묶을 수 없음 → 중간 상태가 덜 나쁜 순서를 고름
| 순서 | 교체 사이의 view | 결과 |
|---|---|---|
| 교체 → cutoff 기록 | 새 배치 + 옛 cutoff의 rt | 어제 유입이 배치와 rt에 모두 있어 이중 집계 |
| cutoff 기록 → 교체 | 옛 배치 + rt는 cutoff 불일치로 전부 제외 | 잠깐 줄어듦. 이중 집계 없음 |
- 틀린 값보다 빈 값을 택함
- 교체 중에는 오늘 발송분과 오늘 유입 증분이 view에서 빠졌다가 다음 rt가 돌면 돌아옴
- 상한은 대략 rt 주기 + 실행 시간
- 실패 경로도 같은 원칙
def publish_with_cutoff(publisher, names, cutoff, *, since=None): previous = [] try: return publisher.publish( *names, before_exchange=lambda: previous.append(record_cutoff(cutoff)), since=since ) except PartialPublishError: # 교체된 파티션은 새 cutoff 기준. 되돌리면 view 가 rt 증분을 두 번 더한다. raise except Exception: if previous and previous[0]: record_cutoff(previous[0]) raise- 아무 파티션도 안 바뀌었으면 → cutoff를 되돌림
- 일부라도 바뀌었으면(
PartialPublishError) → cutoff를 그대로 둠- 대가 : 아직 안 바뀐 파티션의 어제 발송은 새 cutoff보다 앞이라 rt에 없고, 옛 파티션이라 배치에도 없음 → 다음 발행까지 구멍
- 이중 집계 대신 구멍을 택한 것
- 남은 틈 (추론)
- cutoff 기록과 교체 사이에 rt가 돌면, 캐시가 새 cutoff로 옛 배치를 읽어 만들어짐
- 완료 표시가 cutoff 값만 보면 교체가 끝나도 그날은 다시 만들지 않음
- → 캐시 완료 조건에 “발행 완료 시각 이후”를 넣어야 닫힘
4.4 시점 경계 위의 키 가드
- 회차 하나가 cutoff에 걸치면 시점만으로는 같은 회원이 배치와 rt에 모두 생길 수 있음
- 그래서 rt 계산에서 이미 배치에 있는 키를
NOT IN으로 뺌 - “S2는 시점으로 나눈다”가 원칙이고 키 가드는 그 위의 안전망
- 6.2의 키 우선과는 다름 → 여기서 키는 어느 쪽 값을 고를지가 아니라 중복을 막는 데만 씀
4.5 is_rt_partial: 미완성 표시
- rt 행은 결과가 덜 채워져 있음 (구매 귀속
'none', ID 매칭'unknown'고정) - 다음 날 배치로 넘어가면 값이 채워짐
- 행이 rt에서 배치로 넘어갈 때 값이 달라지는 것은 정상 → 소비자는
is_rt_partial로 구분
4.6 로직 두 벌
- 마감분은 dbt-trino, rt는 ClickHouse SQL → 같은 규칙이 두 방언으로 존재
- 동기화 수단은 SQL 머리의 주석 “규칙이 바뀌면 같이 바꾼다” 하나 → 자동 대조 없음
- S2가 아직 치르고 있는 대가
Concept
- Cutoff Tagging : 증분 행에 계산 기준 경계를 달아 경계가 바뀌면 옛 증분이 저절로 제외되게 하는 기법
- Write Ordering : 원자적으로 못 묶는 두 쓰기는 중간 상태가 덜 나쁜 쪽으로 순서를 정하는 설계
- Merge-type S2 : 마감 전 행의 값이 마감 후 사건으로 바뀌어 UNION과 LEFT JOIN을 같이 쓰는 형태
- Key Guard : 시점 분할의 안전망으로 이미 배치에 있는 키를 빼는 장치. 값을 고르는 키 우선과 다름
- Partial Flag : 실시간 행이 미완성임을 컬럼으로 드러내는 방법. 값이 바뀌는 것을 정상으로 만듦
- Dual Logic Cost : 같은 규칙을 배치와 실시간에서 따로 구현하는 비용. 자동 대조가 없으면 조용히 어긋남
5. 변형: 복제본 대신 원본 로그 (원본 로그형)
- 같은 모양을 CDC 없이 쓴 사례 → tail이 Kafka로 들어오는 원본 이벤트 로그
select ... from fct_tracking_event_batchwhere event_date <= (select max(event_date) from agg_user_event_daily_batch)union allselect ... from tracking_event_rawwhere event_date > (select max(event_date) from agg_user_event_daily_batch) and log_date >= (select max(event_date) from agg_user_event_daily_batch)- 다른 S2와 다른 점 세 가지
- 경계를 데이터에서 계산
- 미마감일이 배치에 들어가면 경계가 올라가 그날의 나머지가 view에서 사라짐
- 그래서 배치가 어제 이후 구간을 쓰지 못하게 거부함 → 경계의 안전을 쓰는 쪽 검사로 옮김
- 파티션 키와 업무 날짜가 다름
- 원본 파티션
log_date는event_date와 같거나 하루 이름 - 그래서
log_date >= 경계를>로 줄이면 경계 다음 날 이벤트 일부를 놓침
- 원본 파티션
- dedup 수준이 다름
- 배치는
limit 1 by로 정리, tail 원본은 중복이 남음 - 일별 집계 view만
uniqExact(event_at)로 맞춤
- 배치는
- 경계를 데이터에서 계산
- 원본 로그의 보존 기간과 신선도도 같은 TTL 산수가 적용됨 → 원본이 멈추거나 만료되면 같은 구멍
S2의 모양은 CDC 전용이 아니다. 경계·union·가드 논리는 tail이 무엇이든 같다.
Concept
- Derived Watermark : 경계를 배치 최댓값으로 계산하는 방식. 저장은 없지만 쓰는 쪽이 지켜야 함
- Partition Key ≠ Business Key : 조회 범위를 파티션 키로 줄일 때 두 키의 어긋남 폭만큼 여유를 둬야 함
- Write-Side Validation : 경계를 깨는 쓰기를 쓰는 쪽에서 거부하는 방식. 읽는 쪽 view를 단순하게 유지함
6. 실패 모드: 구멍, 되돌림, 조용한 정지
6.1 TTL 산수와 구멍
마감 시점 현재 │ │_batch ■■■■■■■■■■■■■■■■■■■■■■■■│ (배치 멈춤)CDC │ ■■■■■■■■■ └─구멍──┘ TTL 로 만료, 배치도 없음- 조건 :
TTL > 배치 장애 허용 시간 + 마감 지연 - 병합형 마트를 숫자로 따라가면
| 시각 | 사건 |
|---|---|
| D 05 | 발행. cutoff = D 00:00 |
| D+1 05:00 | 발행 실패. cutoff는 D 00:00 그대로 |
| D+2 00:05 | cutoff 나이 2일 초과 → rt가 실패 (알림) |
| D+3 00:00 | execute_at = D 00:00 행이 TTL 3일 만료 대상 |
- 가드가 만료보다 하루 먼저 울림 → 이 하루가 설계 여유
- rt가 실패하면 view는 마지막 rt를 그대로 보여 줌 → 구멍 대신 멈춘 값 + 알림
- 반대로 경계 나이 가드가 없는 마트는
- 배치가 TTL보다 오래 멈추면 구멍이 나도 쿼리는 성공하고 건수만 줄어듦
- 그 마트를 읽는 하류 마트에도 줄어든 값이 흘러감
- 자가 치유
- 실패한 run은 커밋이 없어 워터마크가 그대로 → 배치가 돌아오면 다음 run이 멈춘 구간을 소급해 채우고 경계를 올림
6.2 키 우선: 넣었다가 다음 날 뺀 것
- 첫 구현은 “CDC에 있으면 CDC, 없으면 배치”
from schd -- CDCunion allselect ... from schd_batchwhere schd_id not in (select seq from schd)원본 갱신 (재적재 범위 밖) CDC 만료 10 → 12 │_batch 10 ──────────────────────── 10CDC 12 ──────────────────────── 없음view 12 ──────────────────────── 10 ← 되돌아감- TTL이 없으면 → 모든 키가 CDC에 있어 배치 쪽은 안 쓰이는 코드
- TTL이 있으면 → 만료 순간 값이 과거로 돌아감 → 시간이 지나면 숫자가 작아지는 대시보드
- 해당 테이블에는 TTL이 없어 실제로 나타난 건 첫째(죽은 코드)였음 → 다음 날 S1 view로 바꾸고
_batch일체를 지움
시점 분할은 “언제의 값을 누가 책임지나”를 정하고, 키 우선은 “있으면 쓴다”만 정한다. 후자에는 값이 언제 틀어지는지에 대한 답이 없다.
6.3 늦은 갱신
- 어떤 채널 카운터는 발송 후 32~54일에도 바뀌었음
- bronze 재적재 창이 31일 → Iceberg 경로의 마트에는 안 들어감
- 복제본은 TTL이 없는 한 늦은 갱신을 그대로 따라감 → S1로 옮기면 재적재 창 없이 해소
- 단, 그 늦은 변경이 정상 갱신이 아니라 원천의 중복 집계라면 원본을 따라가는 쪽이 틀림 → 전환 전에 원인을 먼저 확인
6.4 조용한 정지
| 폴링 | CDC 복제본 | |
|---|---|---|
| 원천·경로가 멈추면 | 쿼리나 태스크가 실패 | 쿼리는 성공하고 값이 멈춤 |
| 알아채는 수단 | 실패 알림 | 직접 만들어야 함 |
- 그래서 폴링을 복제본으로 바꿀 때 신선도 가드를 같이 넣음
- 활성 테이블들의
max(ingested_at)중 최댓값이 60분을 넘으면 실패
- 활성 테이블들의
- 한계
- 최댓값 기준이라 모든 테이블이 멈출 때만 걸림 → 한 테이블만 멈추는 건 못 잡음 → 테이블별로 봐야 함
- 가드가 특정 배치 하나에만 붙어 있으면, view만으로 서빙하는 S1 마트는 자체 감시가 없음
Concept
- Gap : 경계 이후인데 복제본에서 만료됐고 배치에도 없는 구간. 쿼리는 성공하고 값만 줄어듦
- Boundary Age Guard : 경계가 너무 오래되면 실패시켜 구멍을 알림으로 바꾸는 장치. TTL보다 짧게 잡음
- Value Regression : 시간이 지나면서 값이 옛 값으로 돌아가는 현상. 키 우선 병합의 고유 결함
- Freshness Guard : 복제본 최근 수신 시각으로 조용한 정지를 실패로 바꾸는 장치. 테이블별로 걸어야 부분 정지를 잡음
- Silent Stall : 데이터 흐름이 멈췄는데 쿼리는 성공하는 상태. 폴링에서 CDC로 옮길 때 새로 생기는 위험
- Self-Healing Recompute : 배치가 돌아오면 재계산 창이 멈춘 구간을 채워 추가 조치 없이 복구되는 성질
7. S1과의 대조, 그리고 전환 절차
7.1 S1의 두 형태
| 계산량 | 형태 |
|---|---|
| 필터·캐스트 수준 | dbt view |
| 조인·윈도우로 무거움 | dbt table, 주기적으로 재빌드 후 EXCHANGE |
- 무거운 S1은 처음에 그림자 빌드로 시작
- 기존 서빙(Iceberg 발행본)은 그대로 두고, 같은 run에서 ClickHouse 쪽을 나란히 만들어 대조
- 대조가 끝나면 서빙을 전환하는 expand-contract
- S1과 S2는 조합됨
- S1 마트가 S2 view를 입력으로 쓰면 S1도 S2의 TTL 조건을 물려받음
7.2 S2 → S1 전환 순서
- 소비자 확인 :
system.query_log로_batch를 직접 읽는 소비자가 없는지 확인 - 한 커밋으로 정리 : view에서
_batchunion을 빼고, 모델·DDL·발행 대상·자산 정의를 함께 지움. 조회 이름은 그대로라 소비자 코드 변경 없음 - 배포 : view가 바뀜
- 소비자에게 통보 :
_batch제거, 컬럼 의미 변화, TTL 없음 - 물리 테이블은 나중에 drop : 새 view가 운영에서 정상인지 본 뒤 지움
- 코드는 이전 이미지로 되돌릴 수 있지만, drop한 테이블은 다시 채우기 어려움 → contract를 늦춤
7.3 래퍼 view(v_)를 걷어낸 대가
- 예전엔
cdc.v_*=SELECT * EXCEPT is_deleted FROM cdc.<table> FINAL WHERE is_deleted = 0 - 지금은 마트가 복제본을 직접 읽음 → 규칙은
cdc.<table> FINAL+is_deleted = 0 - 대가 :
FINAL을 빠뜨려도 잡아 줄 view가 없어서, 이 보장이 소비자 관례로 옮겨 감
Concept
- Shadow Build : 서빙을 바꾸기 전에 새 경로를 같은 회차에 나란히 만들어 대조하는 방식
- Expand-Contract : 새 경로를 먼저 띄우고 검증 뒤 옛 경로를 걷어내는 마이그레이션. 되돌리기 어려운 단계(drop)를 가장 뒤로 미룸
- Constraint Inheritance : 하류 마트가 상류 패턴의 가용성 조건(TTL 등)을 물려받는 현상
8. 새 마트에 적용할 때 체크리스트
선택
- 전체 이력을 복제본에 둘 수 있는가? 있으면 S1. 여기서 끝
- 계산이 교차 행·비단조·늦은 갱신을 포함하는가? 포함하면 MV 증분을 쓰지 않음
- 소비자가 tail의 미완성 값을 받아들이는가? 아니면 표시 컬럼을 둠
S2 설계
- 경계를 데이터로 저장하는가?
now()·today()로 두지 않음 - 포함/배타를 양쪽 조건에서 대조했는가?
-
TTL > 배치 장애 허용 시간 + 마감 지연을 숫자로 적었는가? - 경계와 배치 교체가 원자적인가? 아니면 어느 순서가 덜 나쁜지 정했는가? 실패 시 복원 규칙은?
- 마감 전 행이 마감 후 사건으로 바뀌는가? 바뀌면 병합이 필요함
- 마감분 재계산 범위(고정 창 또는 개정 컬럼 탐지)가 원천의 늦은 갱신을 잡는가? 못 잡으면 한계로 적었는가?
- tail 로직과 배치 로직이 두 벌인가? 동기화 수단은?
구현 규칙
-
cdc.<table> FINAL+is_deleted = 0으로 읽음 - 별칭이 필터 컬럼을 가리지 않게 필터를 안쪽에 둠
-
_batch/<name>이름 규칙을 지킴 - TTL은 계약 파일에 선언하고, 선언 외 TTL은 테스트로 막음
운영
- 경계 나이 가드가 있는가?
- 복제본 신선도 가드가 있는가? 테이블별인가?
- 복제본과 원본 행 수 대조가 있는가?
Key takeaways
- 기본은 S1
- 전체 이력을 복제본에 둘 수 있으면 배치를 두지 않음. S2는 원천이 커서 어쩔 수 없을 때만
- S1/S2를 가르는 건 원천 크기와 primary 부하
- 늦은 갱신은 기준이 아님. S1이면 그대로 반영되고 S2면 재계산 범위로 흡수
- 경계는 시점 하나, 값은 데이터로
- 행은 항상 한쪽에서만 나옴. 경계를 코드 상수나
now()로 두지 않고 배치가 함께 기록
- 행은 항상 한쪽에서만 나옴. 경계를 코드 상수나
- TTL 산수가 곧 가용성 계약
- TTL보다 배치가 오래 멈추면 양쪽 어디에도 없는 구간이 생김 → 경계 나이 가드(2일 < TTL 3일)
- 키 우선은 쓰지 않음
- TTL이 없으면 배치 쪽이 죽은 코드, TTL이 있으면 만료 순간 값이 옛 값으로 되돌아감
- 기록 순서가 정합성을 정함
- cutoff를 교체 전에 씀. 뒤에 쓰면 이중 집계, 앞에 쓰면 잠깐 빈 값 → 틀린 값보다 빈 값
- 시점으로 깔끔히 안 나뉘는 마트도 있음
- 마감 전 사건에 마감 후 사건이 붙으면 UNION만으로 안 되고 LEFT JOIN 병합이 필요
- 조용한 정지가 CDC의 새 위험
- 폴링은 멈추면 실패하지만 복제본은 멈춰도 쿼리가 성공함 → 신선도 가드를 테이블별로
- 로직 두 벌은 남은 대가
- 배치와 tail이 같은 규칙을 두 방언으로 가짐. 자동 대조가 없으면 주석이 유일한 동기화 수단
- S2의 모양은 CDC 전용이 아님
- 원본 로그를 tail로 써도 경계·union·가드 논리는 같음
- ClickHouse 별칭은 WHERE를 가림
- 같은 이름의 별칭을 만들면 필터가 원본이 아니라 변환된 값을 검사함 → 필터는 안쪽에
부록: 진단 SQL
-- 경계 나이. TTL에 가까우면 위험SELECT max(closed_before), dateDiff('day', max(closed_before), today())FROM gold.<mart>_batch;
-- 복제본이 경계까지 덮는가. min(execute_at)이 경계보다 늦으면 구멍SELECT min(execute_at) FROM cdc.<table> FINAL WHERE is_deleted = 0;
-- 경계와 rt 태그. 발행 직후가 아니면 rt의 cutoff는 현재 cutoff 하나여야 함SELECT argMax(cutoff, published_at), max(published_at) FROM gold.<mart>_cutoff;SELECT cutoff, in_batch, count() FROM gold.<mart>_rt GROUP BY cutoff, in_batch;
-- 복제본 신선도 (테이블별로)SELECT max(ingested_at) FROM cdc.<table>;추가적으로 공부하면 좋은 컨셉, 주제들
- Lambda / Kappa Architecture : 배치와 스트림의 역할 분담과 merge 위치
- Watermark (Dataflow·Flink) : 완결성 추정 경계. 여기 경계는 추정이 아니라 선언이라는 차이
- Debezium Incremental Snapshot : TTL·재스냅샷 비용을 줄이는 방법
- ClickHouse
ReplacingMergeTree의FINAL비용 :do_not_merge_across_partitions_select_final등 조회 성능 조절 - ClickHouse Refreshable Materialized View (23.12+) : S1 주기 재계산을 ClickHouse 내부 스케줄로 옮기는 선택지
- Reconciliation : 복제본과 원본의 행 수·체크섬 대조 설계
- 이중 쓰기 없는 원자성 : 두 저장소에 걸친 쓰기를 순서로 보완하는 설계
[CDC]03. CDC + 배치 서빙: 복제본과 마감분을 경계 하나로 잇기
https://yjinheon.netlify.app/posts/02de/cdc/de-cdc-03_cdc_batch_serving/