2903 words
15 minutes
[spark]MPP와 데이터레이크 하우스 관점에서의 Spark

01. Overview#

  • MPP DW(Massively Parallel Processing Data Warehouse)와 데이터 레이크하우스(Data Lakehouse) 관점에서 Spark의 아키텍처적 역할
  • 같은 레이크하우스 위에서 함께 쓰이는 MPP 쿼리 엔진 Trino와 비교해 공통점과 갈라지는 지점을 정리

02. 데이터 레이크하우스에서의 Spark의 위치#

  • Spark는 단순 분산 처리 엔진이나 MPP 엔진의 일종으로 생각될 수 있음
  • 시스템 설계 관점에서 Spark는 단순 MPP 엔진보다는 “스토리지와 완전히 분리된(Compute-Only), 다목적(General-Purpose) 인메모리 분산 컴퓨팅 엔진” 에 가까움
    • 스토리지 독립성 : 전통적인 MPP 엔진(Redshift, Teradata)이 빠른 쿼리를 위해 스토리지와 컴퓨팅을 강하게 결합하는 것과 달리, Spark는 밑단에 S3가 있든 Kafka가 있든 데이터를 가져와 가공하는 데 집중
    • 다목적 : SQL뿐 아니라 Python, Scala를 이용한 복잡한 데이터 변환, 머신러닝(ML), 스트리밍을 단일 파이프라인에서 처리 가능

03. 핵심 아키텍처 패러다임 비교#

1. MPP DW 중심 (Modern Data Stack)#

  • 데이터 애널리스트(DA)와 비즈니스 인텔리전스(BI)의 생산성을 극대화하는 데 초점을 맞춘 아키텍처
  • ex) Snowflake, Google BigQuery 등

주요 특징 및 사용 상황#

  • ELT 패턴 : SaaS 도구(Fivetran 등)로 원본 데이터를 DW에 일단 적재(Load)하고, DW 내부의 컴퓨팅 파워를 이용해 SQL로 변환(Transform)
  • 장점
    • 인프라 관리 부담이 거의 없음 (Serverless)
    • 구축 속도가 빠르며 SQL만으로 파이프라인 통제 가능
  • 단점
    • 비정형 데이터(이미지, 복잡한 텍스트 로그) 처리, 초 단위 리얼타임 스트리밍, 대규모 딥러닝 모델 학습에는 부적합

2. Spark 중심 데이터 레이크하우스 (Medallion Architecture)#

  • 저렴한 객체 스토리지(S3 등) 위에 데이터 레이크를 구축
  • Spark를 연산 엔진으로 사용하여 DW의 기능까지 수용하는 아키텍처
  • 이런 형태를 항상 메달리온 아키텍처라고 부르지는 않지만, 보통 구현 시 이런 식으로 진행

주요 특징 및 사용 상황#

  • 메달리온 아키텍처(Medallion Architecture) : 데이터의 정제 수준에 따라 스토리지를 논리적으로 분리
    • Bronze : 원본 데이터 (Raw)
    • Silver : 필터링 및 정제된 데이터 (Cleansed)
    • Gold : 비즈니스 로직이 반영된 집계 데이터 (Curated)
  • 한계점 : 인프라 튜닝(메모리 관리, 셔플링 최적화) 등 엔지니어링 리소스가 크게 소모. 이 경우 Databricks 같은 Managed Service 사용을 검토할 수 있음

04. 아키텍처 선택 방법론#

  • 어떤 아키텍처를 선택할지는 결국 “병목이 어디에 있는가?” 에 기반함
    • MPP DW를 선택해야 할 때 : 분석가들이 엔지니어의 병목 없이 즉각적으로 BI 대시보드를 만들어야 하는 “Data Serving”이 가장 중요할 때
    • Lakehouse (Spark)를 선택해야 할 때 : 정형/비정형 데이터가 혼재되어 있고, 단순 SQL로는 표현할 수 없는 복잡한 전처리 로직이나 거대한 머신러닝 파이프라인이 비즈니스의 핵심일 때

아이디어 코드 비교 (동일한 로직의 추상화 차이):

-- MPP DW (dbt)
-- 꼭 dbt가 아니어도 됨
WITH cleaned_data AS (
SELECT user_id, LOWER(email) AS email
FROM raw_users WHERE is_active = true
)
SELECT * FROM cleaned_data;
# Lakehouse (Spark 기반 Python)
df = spark.read.parquet("s3://raw-data/users")
cleaned_df = df.filter(df.is_active == True) \
.withColumn("email", lower(df.email)) \
.withColumn("sentiment", apply_custom_nlp_model(df.comments))
cleaned_df.write.format("delta").save("s3://silver-data/users")

Concept

  • MPP (Massively Parallel Processing) : 대규모 데이터를 여러 노드에 분산시켜 병렬로 처리하는 아키텍처. 주로 빠른 SQL 쿼리 응답에 최적화됨
  • Modern Data Stack (MDS) : 클라우드 DW를 중심으로 Fivetran(추출/적재), dbt(변환), BI 툴을 결합하여 분석가 주도적으로 운영되는 데이터 인프라 조합
  • ELT (Extract, Load, Transform) : 데이터를 먼저 타겟 시스템(DW)에 적재(Load)한 후, 타겟 시스템의 연산력을 이용해 변환(Transform)하는 패턴
  • Medallion Architecture : 데이터 레이크하우스에서 데이터 품질을 통제하기 위해 Bronze(원천), Silver(정제), Gold(집계) 레이어로 나누어 관리하는 데이터 설계 패턴

05. Spark와 Trino: 공통점과 차이점#

  • 레이크하우스에서 Spark와 Trino는 같은 Iceberg/Hive 테이블을 함께 읽고 쓰는 경우가 많음
  • 둘 다 “여러 노드가 나눠서 동시에 처리”하는 분산 SQL 엔진이지만, 중간 결과를 어떻게 넘기는가에서 성격이 갈림

5.1 공통점#

  • Compute-Storage 분리
    • 둘 다 자체 스토리지가 없고 S3/HDFS 위의 Iceberg·Hive·Delta 테이블을 읽음
    • 같은 카탈로그(Hive Metastore, REST Catalog 등)를 공유해 동일 테이블을 양쪽에서 사용 가능
  • 마스터-워커 구조
    • 계획·스케줄링 노드 1개(Trino Coordinator / Spark Driver) + 실제 처리 노드 N개(Trino Worker / Spark Executor)
  • 같은 쿼리 처리 단계
    • SQL → 논리 플랜 → 규칙·비용 기반 최적화 → 물리 플랜
    • 데이터 재배치(Exchange)가 필요한 지점마다 플랜을 Stage로 분할
  • 같은 최적화 원칙 : “옮기기 전에 줄인다”
    • Predicate/Projection Pushdown, 파티션 프루닝
    • 셔플 전 부분 집계 (partial aggregation)
    • 런타임 필터 : Trino Dynamic Filtering / Spark Dynamic Partition Pruning·Runtime Filter
  • 같은 조인 분산 전략
    • 작은 쪽 복제(Broadcast) vs 양쪽 해시 재배치(Partitioned/Shuffle)
  • 컬럼형 실행
    • Trino : 컬럼 Block을 묶은 Page 단위 처리 + 표현식 바이트코드 생성
    • Spark : Tungsten 메모리 포맷, Vectorized Parquet Reader, Whole-Stage Codegen

5.2 차이점#

구분TrinoSpark
실행 모델파이프라인 스트리밍 : 모든 Stage를 동시에 띄우고 메모리 버퍼로 흘려보냄Stage 단위 배치 : 셔플 경계에서 map 출력을 로컬 디스크(셔플 파일)에 쓰고, 다음 Stage가 이를 읽음
중간 결과메모리 (FTE 모드에서만 외부 저장소)셔플 파일로 디스크에 기록
장애 복구기본은 워커 하나 실패 시 쿼리 전체 실패. retry-policy로 FTE 선택기본이 Task 재시도. lineage와 셔플 파일로 실패한 부분만 재계산
메모리 부족 시쿼리 실패가 기본. Spill은 레거시 보조 장치실행 메모리 spill이 기본 동작
스케줄링 단위split당 Driver, 고정 스레드를 약 1초씩 나눠 쓰는 협력 스케줄링파티션 1개 = Task 1개, Task가 executor 코어(slot) 하나를 점유
런타임 재최적화기본 모드에서 실행 중 플랜 변경은 제한적 (Dynamic Filtering 중심)AQE : Stage 완료 통계로 조인 전략 전환, 파티션 병합, skew 분할
기동 방식상주 클러스터. 쿼리 시작 지연이 짧음애플리케이션마다 executor 기동(YARN/K8s), 시작 오버헤드 존재
인터페이스SQL 전용. 여러 커넥터를 한 쿼리에서 조인하는 federationSQL + DataFrame(Python/Scala), ML, Structured Streaming
강점 워크로드ad-hoc 분석, BI 대시보드, 짧은 대화형 쿼리, 이기종 소스 조회대형 배치 ETL, 복잡한 변환, ML 파이프라인, 스트리밍, 장시간 작업
  • 핵심 차이는 “중간 결과를 저장하느냐” 하나에서 대부분 파생됨
    • Trino는 저장하지 않음 → 빠르지만 메모리를 많이 쓰고 실패에 약함
    • Spark는 셔플 파일로 저장 → Stage 사이 대기와 디스크 I/O가 있지만, 실패 복구가 쉽고 Stage 경계 통계로 AQE가 가능
  • 이름 충돌 주의
    • Spark Driver = 계획·스케줄링을 맡는 마스터 프로세스 (Trino의 Coordinator에 해당)
    • Trino Driver = Pipeline의 실행 인스턴스 (Spark의 Task 실행 스레드에 가까움)
    • Task도 범위가 다름 : Trino Task = Stage × 워커, Spark Task = Stage × 파티션

5.3 용어 대응#

TrinoSpark비고
CoordinatorDriver계획·스케줄링
WorkerExecutor실제 처리
StageStage둘 다 Exchange(셔플) 경계로 분할
Task (Stage × 워커)Task 집합 (Stage × 파티션)단위 크기가 다름
SplitInput Partition / File Split읽을 데이터 범위
Driver (Pipeline 인스턴스)Task 실행실제 실행체
RemoteExchangeShuffleExchange / BroadcastExchange노드 간 재배치
Page / BlockColumnarBatch / UnsafeRow메모리 내 데이터 표현

5.4 함께 쓰는 구성#

  • 레이크하우스에서 흔한 역할 분담
    • Spark : Bronze → Silver → Gold 적재, MERGE/upsert, Iceberg 유지보수 프로시저(compaction, expire 등) 실행
    • Trino : Gold 테이블 서빙, ad-hoc 분석, BI 연결, RDB·Kafka 등 다른 소스와의 federation 조회
  • 같은 Iceberg 카탈로그를 공유하므로 데이터 복제 없이 엔진만 용도별로 선택
  • 선택 기준
    • 몇 초 안에 답이 필요한 대화형 쿼리 → Trino
    • 몇십 분~몇 시간 걸려도 끝까지 완주해야 하는 배치, SQL로 표현하기 어려운 로직 → Spark
    • Trino로 대형 배치를 돌려야 한다면 FTE 클러스터를 분리하는 것이 일반적

Concept

  • Compute-Storage Separation : 연산 엔진과 데이터 저장소를 분리해 각각 독립적으로 확장하는 구조. 같은 테이블을 여러 엔진이 공유할 수 있는 레이크하우스의 전제
  • Pipelined Execution : 모든 Stage를 동시에 실행하며 중간 결과를 메모리로 흘려보내는 방식. 지연이 짧지만 메모리 사용량이 크고 실패 시 전체 재실행이 필요함
  • Stage-by-Stage Execution : 셔플 경계에서 중간 결과를 디스크에 쓰고 다음 Stage가 읽어 가는 방식. 대기와 I/O 비용이 있지만 부분 재시도와 런타임 재최적화가 가능함
  • Lineage-based Recovery : 데이터가 만들어진 변환 이력을 기록해 두고 실패한 파티션만 재계산하는 복구 방식. Spark의 기본 장애 대응
  • Adaptive Query Execution (AQE) : Stage 완료 시점의 실제 통계로 조인 전략·파티션 수·skew 처리를 실행 중에 바꾸는 Spark의 최적화. Stage 단위 실행이라 가능한 기능
  • Query Federation : 서로 다른 저장소의 데이터를 하나의 SQL로 조회·조인하는 기능. 커넥터 구조를 가진 Trino의 대표 강점

Key_Takeaways

  • Spark는 MPP DW와 달리 스토리지와 완전히 분리된 인메모리 연산 엔진에 가까움
  • Spark의 기본적인 핵심역할은 데이터와 컴퓨팅을 분리하는 것. 따라서 MPP DW랑 다른 관점에서 생각해야함
  • MPP DW 중심의 Modern Data Stack은 SQL 기반 분석가의 접근성과 빠른 BI 서빙 중심 아키텍처에서 장점을 가짐
  • Spark 중심의 데이터 레이크하우스는 비정형 데이터 처리, 머신러닝 연동, 복잡한 ETL에 유연하게 대응가능
  • Spark와 Trino는 같은 분산 SQL 엔진 구조를 공유하지만, 중간 결과를 디스크에 남기는 Spark는 안정적인 대형 배치에, 메모리로 흘려보내는 Trino는 빠른 대화형 조회에 강함

참고 글#

[spark]MPP와 데이터레이크 하우스 관점에서의 Spark
https://yjinheon.netlify.app/posts/02de/03-spark/spark-mpp/
Author
Datamind
Published at
2026-03-02
License
CC BY-NC-SA 4.0