Spark 실행 모델 개관과 DAG#

왜 DAG인가#

1. 의존성 표현

분산 실행에서 가장 중요한 정보는 “무엇을 먼저 계산해야 하는가”임. DAG는 이 의존 관계를 직접 표현하는 자료구조.

1
   read(A)      read(B)
2
      │            │
3
    filter       filter
4
      │            │
5
      └──── join ──┘
6
             │
7
          groupBy
8
             │
9
          write

• join은 양쪽 filter가 끝나야 실행 가능 → 엣지가 그 제약을 표현
• 두 filter는 서로 의존하지 않음 → 병렬 실행 가능하다는 사실이 그래프 구조에서 자동 도출

2. 비순환성이 종료를 보장

순환이 있으면 “언제 끝나는가”를 정적으로 알 수 없음. 비순환이면 **위상 정렬(topological sort)**이 항상 가능 → 실행 순서를 확정적으로 결정 가능. 스케줄러가 무한 루프에 빠지지 않음.

3. 최적화대상

DAG는 “실행 기록”이 아니라 실행 전에 만들어지는 계획임. 계획 상태이므로 자유롭게 재작성 가능.

• 연속된 두 filter → 하나로 합치기
• filter를 join 아래로 밀어내려 데이터량 줄이기 (→ 챕터 5 Filter Pushdown)
• 불필요한 컬럼 읽기 제거 (→ Projection Pushdown)

즉시 실행(eager) 방식이었다면 이미 실행된 연산을 되돌릴 수 없어 이런 최적화가 불가능. DAG + Lazy Evaluation은 세트로 동작함 (→ 챕터 4).

4. 장애 복구(Lineage)

DAG는 “이 데이터가 어떻게 만들어졌는지”를 담은 완전한 계보(lineage). 노드 하나가 죽어 파티션 일부가 소실되면:

• 전체 재실행 불필요
• DAG를 역추적해 소실된 파티션을 만드는 경로만 재계산
• 데이터 복제(replication) 없이 fault tolerance 확보 → 저장 비용 절감

이것이 Spark와 MapReduce를 가르는 핵심 설계 차이 중 하나.

코드로 보는 DAG#

1
df = spark.read.parquet("/data/events")   # 노드 생성
2
f1 = df.filter("country = 'KR'")          # 엣지 추가
3
f2 = f1.select("user_id", "event_time")   # 엣지 추가
4
f2.count()                                # 여기서 비로소 실행

• 1~3행: DAG만 쌓임. 실제 데이터는 단 1바이트도 읽지 않음
• 4행 count(): Action. 이 시점에 DAG가 완성되고 실행 계획으로 변환됨

확인 방법:

1
f2.explain(True)   # DAG가 어떤 계획으로 번역됐는지 출력

1-3. 전체 개념 지도#

spark 코드 한 줄이 클러스터에서 실행되기까지의 경로:

1
[사용자 코드]
2
     │  (Lazy — 실행 안 됨)
3
     ▼
4
[DAG / Unresolved Logical Plan]
5
     │  Catalyst Optimizer
6
     ▼
7
[Logical Plan → Optimized → Physical Plan]
8
     │  Action 호출 시점에 실행 트리거
9
     ▼
10
[Job] ──분할──▶ [Stage] ──분할──▶ [Task]
11
     │           (Shuffle 경계)    (Partition 단위)
12
     ▼
13
[DAGScheduler → TaskScheduler]
14
     │
15
     ▼
16
[Driver] ──자원 요청──▶ [Resource Manager]
17
     │                        │
18
     │                        ▼
19
     └──Task 전송──────▶ [Executor 여러 개]
20
                              │
21
                              ▼
22
                    [Executor 메모리 영역]
23
                    Execution / Storage / User ...

Concept

• Cluster : 네트워크로 연결된 다수의 노드를 하나의 논리적 컴퓨팅 자원으로 묶은 집합. Spark는 이를 단일 컴퓨터처럼 추상화
• Scale-out : 장비를 추가해 처리 능력을 늘리는 방식. Scale-up(단일 장비 증설)과 대비
• DAG (Directed Acyclic Graph) : 방향성 있고 순환 없는 그래프. Spark가 연산 의존 관계를 표현하는 자료구조
• Directed : 엣지에 방향이 존재. “B는 A에 의존”이라는 실행 순서 제약을 표현
• Acyclic : 순환 경로 없음. 위상 정렬이 항상 가능해 실행 순서 확정과 종료를 보장
• 위상 정렬 (Topological Sort) : DAG의 노드를 의존성 순서대로 나열하는 알고리즘. Spark 스케줄러의 실행 순서 결정 기반
• Lineage : DAG가 담고 있는 데이터 생성 계보. 파티션 소실 시 해당 경로만 재계산해 복구
• Fault Tolerance : 장애 발생 시 복구 능력. Spark는 데이터 복제 대신 Lineage 재계산으로 확보
• Partition : 분산 데이터셋의 물리적 분할 단위. Task 실행의 최소 단위이자 병렬도의 상한
• Eager Evaluation : 연산 호출 즉시 실행하는 방식. 실행 후 되돌릴 수 없어 전역 최적화 불가
• Lazy Evaluation : 실행을 지연시키고 계획만 축적하는 방식. DAG 재작성 최적화의 전제 조건
• explain() : DataFrame의 실행 계획을 문자열로 출력하는 메서드. DAG가 어떤 계획으로 번역됐는지 확인하는 도구