3768 words
19 minutes
[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기

01. Overview#

  • YARN에서 돌던 Spark 배치를 Spark on K8s(spark-submit, cluster mode)로 옮긴 뒤 겪은 두 가지 현상을 정리
    • 끝난 Driver Pod가 사라지지 않음
    • 하둡 노드 디스크가 며칠 사이 약 2T 증가. HDFS 데이터는 그대로인데 non-DFS used만 늘어남
  • 둘 다 같은 질문으로 귀결됨 — “Spark가 만든 것을 누가 지우는가”
  • YARN에서는 NodeManager가 해주던 정리를, K8s에서는 아무도 해주지 않는 구간이 생김

02. Driver Pod는 왜 남는가#

2-1. spark-submit이 만드는 것#

spark-submit (cluster mode)
│
▼
K8s API Server
│ Pod 생성 (Job·Deployment 아님. 맨 Pod)
▼
[Driver Pod] ──owner──► ConfigMap (spark conf)
│ ──owner──► Service (headless, executor → driver 접속용)
│
│ Executor Pod 생성 요청
▼
[Executor Pod] × N ──owner──► Driver Pod
  • Driver Pod는 컨트롤러가 없는 bare Pod
  • ConfigMap·Service·Executor Pod는 ownerReference로 Driver Pod에 묶임 → Driver Pod를 지우면 K8s GC가 연쇄 삭제

2-2. 종료 후 각자의 운명#

대상종료 후근거
Executor Pod자동 삭제spark.kubernetes.executor.deleteOnTermination=true(기본값)
Driver PodCompleted / Error 상태로 남음로그 보존 목적. 공식 문서: “remains in completed state … until it’s eventually garbage collected or manually cleaned up”
ConfigMap · ServiceDriver Pod와 함께 남음ownerReference. Driver를 지우면 같이 사라짐
  • 끝난 Driver Pod는 CPU·메모리를 쓰지 않음. ResourceQuota도 비종료 Pod만 셈 → 당장 장애는 아님
  • 다만 쌓이면 kubectl get pods 노이즈, etcd 객체 증가

2-3. TTL을 걸 곳이 있는가#

방법동작맨 Pod(spark-submit)에 적용?
Job ttlSecondsAfterFinished끝난 Job과 Pod 삭제❌ Job이 아니므로 불가
Spark 설정Driver TTL 옵션 없음❌ deleteOnTermination은 Executor 전용
Spark Operator spec.timeToLiveSeconds종료 N초 후 SparkApplication GC⭕ 단, Operator 도입 + 제출 경로(SparkApplication CRD) 변경 필요
PodGC --terminated-pod-gc-threshold종료 Pod 수가 임계치를 넘으면 삭제△ 개수 기준·클러스터 전역. 기본값 12500이라 소규모 클러스터에선 사실상 동작 안 함
descheduler PodLifeTime (states: [Succeeded, Failed])상태·나이 기준 evict△ 별도 컴포넌트. 본래 목적은 재배치
정리 Job (CronJob / 오케스트레이터 Task)라벨 + 종료 후 N일 기준 삭제⭕ spark-submit 구성에서의 사실상 표준
  • Operator를 쓰면 TTL, spark-submit을 쓰면 정리 Job — 이 한 줄이 결론
  • 정리 기준은 spark-role=driver + 팀 라벨 + Succeeded/Failed + 컨테이너 종료 시각 기준 N일
  • N은 “Driver 로그를 어디서 보는가”로 정함. 로그가 Pod에만 있으면 며칠은 남겨야 함

03. Spark 로컬 디렉토리 — 무엇이 쓰이는가#

3-1. 로컬 디렉토리의 내용물#

spark.local.dir(K8s/YARN에서는 SPARK_LOCAL_DIRS)에 Executor가 쓰는 것:

<local-dir>/
├── blockmgr-<uuid>/ ← DiskBlockManager
│ ├── 00/ ... 3f/ ← 해시 서브디렉토리
│ │ ├── shuffle_3_12_0.data ← Shuffle Write 결과
│ │ ├── shuffle_3_12_0.index
│ │ ├── rdd_7_4 ← persist(DISK_ONLY / MEMORY_AND_DISK) 블록
│ │ └── temp_shuffle_... ← Spill
└── spark-<uuid>/ ← 임시 파일, PySpark 작업 파일 등
  • Shuffle 파일 : Map 단계 결과. 다음 Stage가 읽어갈 때까지 유지
  • Spill : 메모리 부족 시 정렬·집계 중간 결과
  • Persist 블록 : DISK_ONLY로 캐시한 DataFrame. 큰 소스를 한 번만 읽으려고 persist하면 수십 G 단위가 됨

3-2. 누가 지우는가#

  • Executor가 정상 종료하면 DiskBlockManager가 JVM shutdown hook에서 자기 blockmgr-*를 삭제
  • 문제는 shutdown hook이 돌지 못하는 종료
종료 유형신호shutdown hook디렉토리
정상 종료-실행삭제됨 ✅
Pod 삭제 (graceful)SIGTERM → grace period 후 SIGKILL실행되나 grace period(기본 30s) 안에 끝나야 함대부분 삭제
OOMKilled (exit 137)SIGKILL실행 안 됨남음 ❌
노드 장애·강제 삭제-실행 안 됨남음 ❌
  • exit code 137 = 128 + 9(SIGKILL). 컨테이너 메모리 limit 초과 시 커널 OOM killer가 보냄
  • JVM은 SIGKILL을 가로챌 수 없음 → 정리 코드가 존재해도 실행 기회가 없음

04. K8s에서 로컬 디렉토리를 어디에 둘 것인가#

Volume 이름이 spark-local-dir-로 시작하면 Spark가 그 마운트 경로를 로컬 디렉토리로 사용함.

Terminal window
# hostPath 예시
--conf spark.kubernetes.executor.volumes.hostPath.spark-local-dir-1.mount.path=/data/spark-local
--conf spark.kubernetes.executor.volumes.hostPath.spark-local-dir-1.options.path=/data/spark-local
방식위치Pod 삭제 시장점함정
emptyDir (지정 안 하면 기본)kubelet 루트 디스크K8s가 삭제 ✅정리 걱정 없음루트 디스크가 작으면 셔플 피크를 못 받음. sizeLimit 초과 시 Pod evict
emptyDir medium: Memory (spark.kubernetes.local.dirs.tmpfs=true)RAMK8s가 삭제빠름사용량이 컨테이너 메모리로 계산 → OOM 위험
hostPath노드의 지정 경로 (큰 데이터 디스크)아무도 안 지움 ❌큰 디스크 활용비정상 종료 잔여물이 영구 누적
PVC (claimName=OnDemand)동적 프로비저닝 볼륨PVC 정책에 따름크기 보장, 재사용 가능스토리지 클래스 필요, 프로비저닝 지연
  • 실제로 hostPath를 고른 이유: 루트 디스크(약 430G)로는 아침 피크(노드당 110~240G)를 받으면서 Trino 등 다른 Pod와 공존하기 어려웠음
  • hostPath를 택하면 정리 책임도 같이 가져와야 함 — 이걸 놓친 것이 디스크 증가의 원인

YARN과의 비교#

  • YARN NodeManager는 앱 종료 시 usercache/<user>/appcache/<appId>를 앱 단위로 통째 삭제
  • Executor가 SIGKILL로 죽어도 NM이 대신 지워줌
  • K8s hostPath에는 이 역할을 하는 주체가 없음 → 직접 만들어야 함

05. 진단에서 얻은 것#

5-1. HDFS used vs non-DFS used#

DataNode 볼륨 용량
├── DFS Used ← HDFS 블록
├── Non-DFS Used ← 같은 디스크의 HDFS 아닌 모든 것 (+ 예약 공간 회계)
└── Remaining
  • “하둡 용량이 늘었다” → 먼저 DFS Used인지 Non-DFS Used인지 분리
  • 이번 경우 DFS Used는 2주간 +0.1T(정상 증가), Non-DFS Used가 1.55T → 3.55T
  • Non-DFS 증가 = HDFS 밖의 무언가가 같은 디스크를 쓰고 있다는 신호

5-2. 공존(co-location) 확인#

  • K8s 노드 IP와 DataNode IP를 대조 → 같은 물리 서버
  • Executor Pod의 hostPath가 DataNode와 같은 /data 디스크

5-3. 대조군으로 원인 좁히기#

노드Executor 스케줄/data 증가
node-01제외 (nodeAffinity NotIn)+0.04T
node-02 ~ 05대상+0.36 ~ 0.66T
  • Executor가 안 뜨는 노드만 안 늘었음 → 원인 후보가 Executor로 수렴
  • 시간축도 일치: 일일 증가분이 실패·재실행이 많았던 날에 몰림. 정상일에는 아침에 수백 G가 올라갔다 바로 빠짐

5-4. 틀린 노드에서 확인하면 틀린 결론#

  • 첫 확인에서 du -sh /data/spark-local = 0 → 가설 철회
  • 다시 보니 그 노드는 Executor가 안 뜨는 node-01이었음
  • 증가폭이 가장 큰 노드에서 다시 확인하니 584G, 대부분 20~45G짜리 blockmgr-*
  • 대조군 노드로 검증하면 당연히 음성 — 확인할 노드를 먼저 고정할 것

5-5. df와 du가 다를 때#

  • df(파일시스템 사용량)는 늘었는데 du(파일 합계)에 안 잡히면 → 삭제됐지만 프로세스가 열고 있는 파일
  • lsof +L1로 확인. 이번 건은 du에 그대로 잡혀서 해당 없었음

06. 해결#

6-1. Driver Pod — 정리 Task#

def stale_driver_pods(pods, now, keep=timedelta(days=3)) -> list[str]:
"""Succeeded/Failed 이고 컨테이너가 끝난 지 keep 이 지난 pod 이름."""
names = []
for pod in pods:
if pod.status.phase not in ("Succeeded", "Failed"):
continue
finished = [
cs.state.terminated.finished_at
for cs in pod.status.container_statuses or []
if cs.state and cs.state.terminated and cs.state.terminated.finished_at
]
if finished and now - max(finished) > keep:
names.append(pod.metadata.name)
return names
# label_selector="spark-role=driver,<team-label>" → 다른 팀 Pod는 건드리지 않음
  • 기준은 creationTimestamp가 아니라 컨테이너 종료 시각. 오래 돈 잡이 끝나자마자 지워지는 것을 막음
  • 종료 시각을 알 수 없으면 지우지 않음 (보수적으로)

6-2. 로컬 디렉토리 — 노드별 정리 DaemonSet#

apiVersion: apps/v1
kind: DaemonSet
metadata:
name: spark-local-dir-cleaner
spec:
template:
spec:
# Executor와 같은 노드 범위 (nodeSelector / affinity / tolerations)
securityContext: {runAsUser: 185, runAsNonRoot: true} # Executor와 같은 uid
containers:
- name: cleaner
image: busybox:1.36
env: [{name: IDLE_MIN, value: "360"}]
command: ["/bin/sh", "-c"]
args:
- |
while true; do
for d in /data/spark-local/*/; do
[ -d "$d" ] || continue
[ -n "$(find "$d" -mmin -"$IDLE_MIN" | head -n 1)" ] && continue
rm -rf "$d"
done
sleep 3600
done
volumeMounts: [{name: spark-local, mountPath: /data/spark-local}]
volumes:
- name: spark-local
hostPath: {path: /data/spark-local, type: Directory}
  • “안의 파일이 하나라도 최근 N분 내 바뀌었으면 건너뜀” — 디렉토리 자체 mtime은 하위 파일 쓰기에 갱신되지 않으므로 재귀로 봐야 함
  • N은 가장 긴 잡의 timeout보다 충분히 크게 (timeout 2시간 → 6시간)
  • 실행 중인 Executor의 디렉토리를 지우면 FetchFailedException → Stage 재시도로 이어지므로, 애매하면 남기는 쪽으로

Concept

  • Bare Pod : Job·Deployment 같은 컨트롤러 없이 직접 생성된 Pod. spark-submit의 Driver Pod가 이 형태. 컨트롤러 기반 TTL이 적용되지 않음
  • ownerReference : K8s 객체 간 소유 관계. 소유자가 삭제되면 GC가 피소유 객체를 연쇄 삭제(cascading deletion)
  • spark.kubernetes.executor.deleteOnTermination : Executor Pod 종료 시 자동 삭제 여부. 기본 true. Driver에는 대응 옵션 없음
  • timeToLiveSeconds (Spark Operator) : SparkApplication 종료 후 GC까지의 시간. Operator 사용 시의 표준 정리 수단
  • terminated-pod-gc-threshold : kube-controller-manager의 PodGC 임계치. 종료 Pod 수가 이를 넘으면 오래된 것부터 삭제. 기본 12500
  • spark.local.dir / SPARK_LOCAL_DIRS : Shuffle·Spill·Persist 블록이 기록되는 Executor 로컬 디렉토리
  • DiskBlockManager : 로컬 디렉토리 아래 blockmgr-*를 만들고 블록 파일을 해시 서브디렉토리에 배치하는 컴포넌트. 정상 종료 시 shutdown hook으로 삭제
  • spark-local-dir- 접두사 : K8s Volume 이름이 이 접두사로 시작하면 Spark가 해당 마운트를 로컬 디렉토리로 사용
  • emptyDir : Pod 수명과 함께하는 임시 볼륨. Pod 삭제 시 kubelet이 삭제. 기본 위치는 kubelet 루트 디스크
  • hostPath : 노드 파일시스템 경로를 직접 마운트. Pod와 무관하게 남음 → 정리 책임이 사용자에게 있음
  • exit code 137 : SIGKILL(9)로 종료됨(128+9). K8s에서는 대개 메모리 limit 초과로 인한 OOMKilled
  • JVM Shutdown Hook : JVM 종료 시 실행되는 정리 코드. SIGTERM에는 실행되나 SIGKILL에는 실행되지 않음
  • terminationGracePeriodSeconds : Pod 삭제 시 SIGTERM 후 SIGKILL까지의 유예 시간. 기본 30초
  • Non-DFS Used : DataNode 볼륨에서 HDFS 블록이 아닌 사용량. 같은 디스크를 쓰는 다른 프로세스의 흔적
  • DaemonSet : 조건에 맞는 모든 노드에 Pod를 하나씩 띄우는 컨트롤러. 노드 로컬 정리 작업에 적합

Key_Takeaways

  • YARN에서 K8s로 옮기면 NodeManager가 암묵적으로 해주던 정리가 사라짐. 앱 단위 로컬 디렉토리 삭제, 컨테이너 정리 등을 누가 할지 전환 체크리스트에 넣어야 함
  • spark-submit의 Driver Pod는 bare Pod라 TTL을 걸 곳이 없음. Operator면 timeToLiveSeconds, 아니면 라벨 기반 정리 Job이 표준
  • Spark의 로컬 디렉토리 정리는 shutdown hook에 의존함. OOMKilled(SIGKILL)는 hook을 건너뛰므로, OOM이 잦은 잡일수록 디스크 잔여물이 쌓임 — 메모리 문제가 디스크 문제로 번짐
  • hostPath를 고르는 순간 정리 책임도 함께 가져옴. emptyDir는 정리를 K8s가 하지만 루트 디스크 용량에 묶임. 선택 기준은 “피크 용량을 어디서 받을 수 있는가”와 “누가 지우는가”
  • 용량 이상 진단은 DFS / non-DFS 분리 → 공존 컴포넌트 확인 → 대조군 노드 비교 순서가 빠름. 그리고 검증은 대조군이 아닌 노드에서 해야 함

추가적으로 공부하면 좋은 컨셉, 주제들:

  • External Shuffle Service on K8s / Remote Shuffle Service (Celeborn, Uniffle) : Shuffle 파일을 Executor 밖으로 빼내 Executor 수명과 분리. 로컬 디스크 의존 자체를 줄이는 방향
  • spark.dynamicAllocation.shuffleTracking : ESS 없는 K8s에서 Shuffle 데이터를 가진 Executor를 바로 반납하지 않게 하는 메커니즘. shuffleTracking.timeout과 함께 이해 필요
  • Executor Decommissioning (spark.decommission.enabled) : Executor 종료 전 Shuffle·캐시 블록을 다른 Executor로 이관. 정상 축소 시 데이터 손실 감소
  • PVC 재사용 (spark.kubernetes.driver.ownPersistentVolumeClaim, reusePersistentVolumeClaim) : Executor 재시작 시 기존 로컬 볼륨을 재사용해 재계산 비용 감소
  • Spark History Server + 이벤트 로그 원격 저장 : Driver Pod를 빨리 지워도 사후 분석이 가능하게 하는 전제 조건
  • kubelet 이미지·컨테이너 GC (imageGCHighThresholdPercent) : 루트 디스크를 emptyDir와 함께 쓰는 경우 같이 고려해야 할 디스크 압박 요인

퀴즈#

Q1. Spark on K8s로 전환한 뒤 Executor가 OOMKilled로 자주 재시작되는 잡이 있음. 메모리 문제와 별개로, 시간이 지나면서 어떤 운영 문제가 추가로 생길 수 있는지, 그리고 로컬 디렉토리를 hostPath에 둔 경우와 emptyDir에 둔 경우가 어떻게 다른지 설명하시오.

A1.

추가로 생기는 문제 — 로컬 디렉토리 잔여물 누적

  • Executor의 blockmgr-*는 정상 종료 시 JVM shutdown hook에서 삭제됨
  • OOMKilled는 SIGKILL(exit 137)이라 hook이 실행되지 않음 → Shuffle 파일·Spill·Persist 블록이 그대로 남음
  • 큰 소스를 DISK_ONLY로 persist하는 잡이면 Executor 하나당 수십 G가 남을 수 있음

볼륨 방식에 따른 차이

hostPathemptyDir
Pod 삭제 후노드 경로에 영구히 남음kubelet이 볼륨째 삭제
누적실패할 때마다 쌓임 → 같은 디스크의 다른 서비스(HDFS DataNode 등) 용량 잠식누적 없음
대신 생기는 위험-루트 디스크 압박, sizeLimit 초과 시 Pod evict
  • hostPath면 노드별 정리 주체(DaemonSet 등) 가 필요하고, 실행 중인 디렉토리를 지우지 않도록 “최근 N시간 내 변경 없음” 같은 보수적 기준을 둬야 함
  • 근본적으로는 OOM 자체를 줄이는 것(memoryOverhead 조정 등)이 디스크 문제도 함께 줄임

Q2. “하둡 클러스터 용량이 며칠 새 2T 늘었다”는 보고를 받음. HDFS에 새로 적재된 대용량 데이터는 없다고 함. 원인을 좁혀가는 순서를 설명하시오.

A2.

① DFS Used와 Non-DFS Used 분리

  • NameNode JMX(NameNodeInfo) 또는 메트릭으로 둘의 추이를 확인
  • DFS Used가 평평하고 Non-DFS Used만 늘었다면 → HDFS가 아닌 무언가가 DataNode 디스크를 쓰는 중

② 같은 디스크를 쓰는 컴포넌트 식별

  • DataNode 호스트에 함께 떠 있는 것: NodeManager local-dir, K8s 노드(hostPath), 다른 스토리지 서비스 등
  • K8s라면 /data 아래를 hostPath로 마운트하는 Pod 목록을 조회

③ 노드별 증가량과 배치 조건 대조

  • 특정 워크로드가 배치되지 않는 노드가 있다면 그 노드를 대조군으로 사용
  • 대조군만 안 늘었다면 그 워크로드가 원인 후보
  • 시간축(어느 날, 몇 시에 늘었나)을 워크로드 실패·재실행 이력과 대조

④ 실제 디렉토리 확인 — 반드시 증가한 노드에서

  • du -xh --max-depth=2 /data | sort -h | tail
  • df와 du가 크게 다르면 lsof +L1로 삭제됐지만 열린 파일 확인

함정: 대조군 노드에서 du를 돌리면 0이 나와 올바른 가설을 기각하게 됨. 확인할 노드부터 고정할 것

[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기
https://yjinheon.netlify.app/posts/02de/03-spark/spark-k8s-local-dir-lifecycle/
Author
Datamind
Published at
2026-11-09
License
CC BY-NC-SA 4.0