2903 words
15 minutes
[spark]MPP와 데이터레이크 하우스 관점에서의 Spark
01. Overview
- MPP DW(Massively Parallel Processing Data Warehouse)와 데이터 레이크하우스(Data Lakehouse) 관점에서 Spark의 아키텍처적 역할
- 같은 레이크하우스 위에서 함께 쓰이는 MPP 쿼리 엔진 Trino와 비교해 공통점과 갈라지는 지점을 정리
- Trino 내부 동작은 Trino 쿼리 실행 원리 참고
02. 데이터 레이크하우스에서의 Spark의 위치
- Spark는 단순 분산 처리 엔진이나 MPP 엔진의 일종으로 생각될 수 있음
- 시스템 설계 관점에서 Spark는 단순 MPP 엔진보다는 “스토리지와 완전히 분리된(Compute-Only), 다목적(General-Purpose) 인메모리 분산 컴퓨팅 엔진” 에 가까움
- 스토리지 독립성 : 전통적인 MPP 엔진(Redshift, Teradata)이 빠른 쿼리를 위해 스토리지와 컴퓨팅을 강하게 결합하는 것과 달리, Spark는 밑단에 S3가 있든 Kafka가 있든 데이터를 가져와 가공하는 데 집중
- 다목적 : SQL뿐 아니라 Python, Scala를 이용한 복잡한 데이터 변환, 머신러닝(ML), 스트리밍을 단일 파이프라인에서 처리 가능
03. 핵심 아키텍처 패러다임 비교
1. MPP DW 중심 (Modern Data Stack)
- 데이터 애널리스트(DA)와 비즈니스 인텔리전스(BI)의 생산성을 극대화하는 데 초점을 맞춘 아키텍처
- ex) Snowflake, Google BigQuery 등
주요 특징 및 사용 상황
- ELT 패턴 : SaaS 도구(Fivetran 등)로 원본 데이터를 DW에 일단 적재(Load)하고, DW 내부의 컴퓨팅 파워를 이용해 SQL로 변환(Transform)
- 장점
- 인프라 관리 부담이 거의 없음 (Serverless)
- 구축 속도가 빠르며 SQL만으로 파이프라인 통제 가능
- 단점
- 비정형 데이터(이미지, 복잡한 텍스트 로그) 처리, 초 단위 리얼타임 스트리밍, 대규모 딥러닝 모델 학습에는 부적합
2. Spark 중심 데이터 레이크하우스 (Medallion Architecture)
- 저렴한 객체 스토리지(S3 등) 위에 데이터 레이크를 구축
- Spark를 연산 엔진으로 사용하여 DW의 기능까지 수용하는 아키텍처
- 이런 형태를 항상 메달리온 아키텍처라고 부르지는 않지만, 보통 구현 시 이런 식으로 진행
주요 특징 및 사용 상황
- 메달리온 아키텍처(Medallion Architecture) : 데이터의 정제 수준에 따라 스토리지를 논리적으로 분리
Bronze: 원본 데이터 (Raw)Silver: 필터링 및 정제된 데이터 (Cleansed)Gold: 비즈니스 로직이 반영된 집계 데이터 (Curated)
- 한계점 : 인프라 튜닝(메모리 관리, 셔플링 최적화) 등 엔지니어링 리소스가 크게 소모. 이 경우 Databricks 같은 Managed Service 사용을 검토할 수 있음
04. 아키텍처 선택 방법론
- 어떤 아키텍처를 선택할지는 결국 “병목이 어디에 있는가?” 에 기반함
- MPP DW를 선택해야 할 때 : 분석가들이 엔지니어의 병목 없이 즉각적으로 BI 대시보드를 만들어야 하는 “Data Serving”이 가장 중요할 때
- Lakehouse (Spark)를 선택해야 할 때 : 정형/비정형 데이터가 혼재되어 있고, 단순 SQL로는 표현할 수 없는 복잡한 전처리 로직이나 거대한 머신러닝 파이프라인이 비즈니스의 핵심일 때
아이디어 코드 비교 (동일한 로직의 추상화 차이):
-- MPP DW (dbt)-- 꼭 dbt가 아니어도 됨WITH cleaned_data AS ( SELECT user_id, LOWER(email) AS email FROM raw_users WHERE is_active = true)SELECT * FROM cleaned_data;# Lakehouse (Spark 기반 Python)df = spark.read.parquet("s3://raw-data/users")cleaned_df = df.filter(df.is_active == True) \ .withColumn("email", lower(df.email)) \ .withColumn("sentiment", apply_custom_nlp_model(df.comments))cleaned_df.write.format("delta").save("s3://silver-data/users")Concept
- MPP (Massively Parallel Processing) : 대규모 데이터를 여러 노드에 분산시켜 병렬로 처리하는 아키텍처. 주로 빠른 SQL 쿼리 응답에 최적화됨
- Modern Data Stack (MDS) : 클라우드 DW를 중심으로 Fivetran(추출/적재), dbt(변환), BI 툴을 결합하여 분석가 주도적으로 운영되는 데이터 인프라 조합
- ELT (Extract, Load, Transform) : 데이터를 먼저 타겟 시스템(DW)에 적재(Load)한 후, 타겟 시스템의 연산력을 이용해 변환(Transform)하는 패턴
- Medallion Architecture : 데이터 레이크하우스에서 데이터 품질을 통제하기 위해 Bronze(원천), Silver(정제), Gold(집계) 레이어로 나누어 관리하는 데이터 설계 패턴
05. Spark와 Trino: 공통점과 차이점
- 레이크하우스에서 Spark와 Trino는 같은 Iceberg/Hive 테이블을 함께 읽고 쓰는 경우가 많음
- 둘 다 “여러 노드가 나눠서 동시에 처리”하는 분산 SQL 엔진이지만, 중간 결과를 어떻게 넘기는가에서 성격이 갈림
5.1 공통점
- Compute-Storage 분리
- 둘 다 자체 스토리지가 없고 S3/HDFS 위의 Iceberg·Hive·Delta 테이블을 읽음
- 같은 카탈로그(Hive Metastore, REST Catalog 등)를 공유해 동일 테이블을 양쪽에서 사용 가능
- 마스터-워커 구조
- 계획·스케줄링 노드 1개(Trino Coordinator / Spark Driver) + 실제 처리 노드 N개(Trino Worker / Spark Executor)
- 같은 쿼리 처리 단계
- SQL → 논리 플랜 → 규칙·비용 기반 최적화 → 물리 플랜
- 데이터 재배치(Exchange)가 필요한 지점마다 플랜을 Stage로 분할
- 같은 최적화 원칙 : “옮기기 전에 줄인다”
- Predicate/Projection Pushdown, 파티션 프루닝
- 셔플 전 부분 집계 (partial aggregation)
- 런타임 필터 : Trino Dynamic Filtering / Spark Dynamic Partition Pruning·Runtime Filter
- 같은 조인 분산 전략
- 작은 쪽 복제(Broadcast) vs 양쪽 해시 재배치(Partitioned/Shuffle)
- 컬럼형 실행
- Trino : 컬럼 Block을 묶은 Page 단위 처리 + 표현식 바이트코드 생성
- Spark : Tungsten 메모리 포맷, Vectorized Parquet Reader, Whole-Stage Codegen
5.2 차이점
| 구분 | Trino | Spark |
|---|---|---|
| 실행 모델 | 파이프라인 스트리밍 : 모든 Stage를 동시에 띄우고 메모리 버퍼로 흘려보냄 | Stage 단위 배치 : 셔플 경계에서 map 출력을 로컬 디스크(셔플 파일)에 쓰고, 다음 Stage가 이를 읽음 |
| 중간 결과 | 메모리 (FTE 모드에서만 외부 저장소) | 셔플 파일로 디스크에 기록 |
| 장애 복구 | 기본은 워커 하나 실패 시 쿼리 전체 실패. retry-policy로 FTE 선택 | 기본이 Task 재시도. lineage와 셔플 파일로 실패한 부분만 재계산 |
| 메모리 부족 시 | 쿼리 실패가 기본. Spill은 레거시 보조 장치 | 실행 메모리 spill이 기본 동작 |
| 스케줄링 단위 | split당 Driver, 고정 스레드를 약 1초씩 나눠 쓰는 협력 스케줄링 | 파티션 1개 = Task 1개, Task가 executor 코어(slot) 하나를 점유 |
| 런타임 재최적화 | 기본 모드에서 실행 중 플랜 변경은 제한적 (Dynamic Filtering 중심) | AQE : Stage 완료 통계로 조인 전략 전환, 파티션 병합, skew 분할 |
| 기동 방식 | 상주 클러스터. 쿼리 시작 지연이 짧음 | 애플리케이션마다 executor 기동(YARN/K8s), 시작 오버헤드 존재 |
| 인터페이스 | SQL 전용. 여러 커넥터를 한 쿼리에서 조인하는 federation | SQL + DataFrame(Python/Scala), ML, Structured Streaming |
| 강점 워크로드 | ad-hoc 분석, BI 대시보드, 짧은 대화형 쿼리, 이기종 소스 조회 | 대형 배치 ETL, 복잡한 변환, ML 파이프라인, 스트리밍, 장시간 작업 |
- 핵심 차이는 “중간 결과를 저장하느냐” 하나에서 대부분 파생됨
- Trino는 저장하지 않음 → 빠르지만 메모리를 많이 쓰고 실패에 약함
- Spark는 셔플 파일로 저장 → Stage 사이 대기와 디스크 I/O가 있지만, 실패 복구가 쉽고 Stage 경계 통계로 AQE가 가능
- 이름 충돌 주의
- Spark Driver = 계획·스케줄링을 맡는 마스터 프로세스 (Trino의 Coordinator에 해당)
- Trino Driver = Pipeline의 실행 인스턴스 (Spark의 Task 실행 스레드에 가까움)
- Task도 범위가 다름 : Trino Task = Stage × 워커, Spark Task = Stage × 파티션
5.3 용어 대응
| Trino | Spark | 비고 |
|---|---|---|
| Coordinator | Driver | 계획·스케줄링 |
| Worker | Executor | 실제 처리 |
| Stage | Stage | 둘 다 Exchange(셔플) 경계로 분할 |
| Task (Stage × 워커) | Task 집합 (Stage × 파티션) | 단위 크기가 다름 |
| Split | Input Partition / File Split | 읽을 데이터 범위 |
| Driver (Pipeline 인스턴스) | Task 실행 | 실제 실행체 |
| RemoteExchange | ShuffleExchange / BroadcastExchange | 노드 간 재배치 |
| Page / Block | ColumnarBatch / UnsafeRow | 메모리 내 데이터 표현 |
5.4 함께 쓰는 구성
- 레이크하우스에서 흔한 역할 분담
- Spark : Bronze → Silver → Gold 적재, MERGE/upsert, Iceberg 유지보수 프로시저(compaction, expire 등) 실행
- Trino : Gold 테이블 서빙, ad-hoc 분석, BI 연결, RDB·Kafka 등 다른 소스와의 federation 조회
- 같은 Iceberg 카탈로그를 공유하므로 데이터 복제 없이 엔진만 용도별로 선택
- 선택 기준
- 몇 초 안에 답이 필요한 대화형 쿼리 → Trino
- 몇십 분~몇 시간 걸려도 끝까지 완주해야 하는 배치, SQL로 표현하기 어려운 로직 → Spark
- Trino로 대형 배치를 돌려야 한다면 FTE 클러스터를 분리하는 것이 일반적
Concept
- Compute-Storage Separation : 연산 엔진과 데이터 저장소를 분리해 각각 독립적으로 확장하는 구조. 같은 테이블을 여러 엔진이 공유할 수 있는 레이크하우스의 전제
- Pipelined Execution : 모든 Stage를 동시에 실행하며 중간 결과를 메모리로 흘려보내는 방식. 지연이 짧지만 메모리 사용량이 크고 실패 시 전체 재실행이 필요함
- Stage-by-Stage Execution : 셔플 경계에서 중간 결과를 디스크에 쓰고 다음 Stage가 읽어 가는 방식. 대기와 I/O 비용이 있지만 부분 재시도와 런타임 재최적화가 가능함
- Lineage-based Recovery : 데이터가 만들어진 변환 이력을 기록해 두고 실패한 파티션만 재계산하는 복구 방식. Spark의 기본 장애 대응
- Adaptive Query Execution (AQE) : Stage 완료 시점의 실제 통계로 조인 전략·파티션 수·skew 처리를 실행 중에 바꾸는 Spark의 최적화. Stage 단위 실행이라 가능한 기능
- Query Federation : 서로 다른 저장소의 데이터를 하나의 SQL로 조회·조인하는 기능. 커넥터 구조를 가진 Trino의 대표 강점
Key_Takeaways
- Spark는 MPP DW와 달리 스토리지와 완전히 분리된 인메모리 연산 엔진에 가까움
- Spark의 기본적인 핵심역할은 데이터와 컴퓨팅을 분리하는 것. 따라서 MPP DW랑 다른 관점에서 생각해야함
- MPP DW 중심의 Modern Data Stack은 SQL 기반 분석가의 접근성과 빠른 BI 서빙 중심 아키텍처에서 장점을 가짐
- Spark 중심의 데이터 레이크하우스는 비정형 데이터 처리, 머신러닝 연동, 복잡한 ETL에 유연하게 대응가능
- Spark와 Trino는 같은 분산 SQL 엔진 구조를 공유하지만, 중간 결과를 디스크에 남기는 Spark는 안정적인 대형 배치에, 메모리로 흘려보내는 Trino는 빠른 대화형 조회에 강함
참고 글
[spark]MPP와 데이터레이크 하우스 관점에서의 Spark
https://yjinheon.netlify.app/posts/02de/03-spark/spark-mpp/