네이티브 메타데이터 지원 (Kafka headers)

Stateful Sessionizer는 스트리밍 파이프라인에서 세션을 생성하는 패턴입니다. Incremental Sessionizer의 “pending sessions 저장소” 역할을 State Store가 대신합니다.

핵심 도전: 하나의 세션이 여러 파티션에 걸쳐 존재할 수 있습니다. 예를 들어 시간당 파티션에서 한 사용자의 세션이 3시간 지속되면, 3개 파티션에 레코드가 분산됩니다. 이를 증분 처리로 해결합니다.

Local Aggregator는 shuffle 없이 로컬에서 집계를 수행하는 패턴

-> 순서를 깨지 않는 범위에서 레코드를 batch로 묶어서 처리하기

Concept

멱등한 파이프라인이란 결국 두 가지 중 하나를 보장하는 것