3768 words
19 minutes
[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기
01. Overview
- YARN에서 돌던 Spark 배치를 Spark on K8s(spark-submit, cluster mode)로 옮긴 뒤 겪은 두 가지 현상을 정리
- 끝난 Driver Pod가 사라지지 않음
- 하둡 노드 디스크가 며칠 사이 약 2T 증가. HDFS 데이터는 그대로인데
non-DFS used만 늘어남
- 둘 다 같은 질문으로 귀결됨 — “Spark가 만든 것을 누가 지우는가”
- YARN에서는 NodeManager가 해주던 정리를, K8s에서는 아무도 해주지 않는 구간이 생김
02. Driver Pod는 왜 남는가
2-1. spark-submit이 만드는 것
spark-submit (cluster mode) │ ▼K8s API Server │ Pod 생성 (Job·Deployment 아님. 맨 Pod) ▼[Driver Pod] ──owner──► ConfigMap (spark conf) │ ──owner──► Service (headless, executor → driver 접속용) │ │ Executor Pod 생성 요청 ▼[Executor Pod] × N ──owner──► Driver Pod- Driver Pod는 컨트롤러가 없는 bare Pod
- ConfigMap·Service·Executor Pod는
ownerReference로 Driver Pod에 묶임 → Driver Pod를 지우면 K8s GC가 연쇄 삭제
2-2. 종료 후 각자의 운명
| 대상 | 종료 후 | 근거 |
|---|---|---|
| Executor Pod | 자동 삭제 | spark.kubernetes.executor.deleteOnTermination=true(기본값) |
| Driver Pod | Completed / Error 상태로 남음 | 로그 보존 목적. 공식 문서: “remains in completed state … until it’s eventually garbage collected or manually cleaned up” |
| ConfigMap · Service | Driver Pod와 함께 남음 | ownerReference. Driver를 지우면 같이 사라짐 |
- 끝난 Driver Pod는 CPU·메모리를 쓰지 않음. ResourceQuota도 비종료 Pod만 셈 → 당장 장애는 아님
- 다만 쌓이면
kubectl get pods노이즈, etcd 객체 증가
2-3. TTL을 걸 곳이 있는가
| 방법 | 동작 | 맨 Pod(spark-submit)에 적용? |
|---|---|---|
Job ttlSecondsAfterFinished | 끝난 Job과 Pod 삭제 | ❌ Job이 아니므로 불가 |
| Spark 설정 | Driver TTL 옵션 없음 | ❌ deleteOnTermination은 Executor 전용 |
Spark Operator spec.timeToLiveSeconds | 종료 N초 후 SparkApplication GC | ⭕ 단, Operator 도입 + 제출 경로(SparkApplication CRD) 변경 필요 |
PodGC --terminated-pod-gc-threshold | 종료 Pod 수가 임계치를 넘으면 삭제 | △ 개수 기준·클러스터 전역. 기본값 12500이라 소규모 클러스터에선 사실상 동작 안 함 |
descheduler PodLifeTime (states: [Succeeded, Failed]) | 상태·나이 기준 evict | △ 별도 컴포넌트. 본래 목적은 재배치 |
| 정리 Job (CronJob / 오케스트레이터 Task) | 라벨 + 종료 후 N일 기준 삭제 | ⭕ spark-submit 구성에서의 사실상 표준 |
- Operator를 쓰면 TTL, spark-submit을 쓰면 정리 Job — 이 한 줄이 결론
- 정리 기준은
spark-role=driver+ 팀 라벨 +Succeeded/Failed+ 컨테이너 종료 시각 기준 N일 - N은 “Driver 로그를 어디서 보는가”로 정함. 로그가 Pod에만 있으면 며칠은 남겨야 함
03. Spark 로컬 디렉토리 — 무엇이 쓰이는가
3-1. 로컬 디렉토리의 내용물
spark.local.dir(K8s/YARN에서는 SPARK_LOCAL_DIRS)에 Executor가 쓰는 것:
<local-dir>/├── blockmgr-<uuid>/ ← DiskBlockManager│ ├── 00/ ... 3f/ ← 해시 서브디렉토리│ │ ├── shuffle_3_12_0.data ← Shuffle Write 결과│ │ ├── shuffle_3_12_0.index│ │ ├── rdd_7_4 ← persist(DISK_ONLY / MEMORY_AND_DISK) 블록│ │ └── temp_shuffle_... ← Spill└── spark-<uuid>/ ← 임시 파일, PySpark 작업 파일 등- Shuffle 파일 : Map 단계 결과. 다음 Stage가 읽어갈 때까지 유지
- Spill : 메모리 부족 시 정렬·집계 중간 결과
- Persist 블록 :
DISK_ONLY로 캐시한 DataFrame. 큰 소스를 한 번만 읽으려고 persist하면 수십 G 단위가 됨
3-2. 누가 지우는가
- Executor가 정상 종료하면
DiskBlockManager가 JVM shutdown hook에서 자기blockmgr-*를 삭제 - 문제는 shutdown hook이 돌지 못하는 종료
| 종료 유형 | 신호 | shutdown hook | 디렉토리 |
|---|---|---|---|
| 정상 종료 | - | 실행 | 삭제됨 ✅ |
| Pod 삭제 (graceful) | SIGTERM → grace period 후 SIGKILL | 실행되나 grace period(기본 30s) 안에 끝나야 함 | 대부분 삭제 |
| OOMKilled (exit 137) | SIGKILL | 실행 안 됨 | 남음 ❌ |
| 노드 장애·강제 삭제 | - | 실행 안 됨 | 남음 ❌ |
- exit code 137 = 128 + 9(SIGKILL). 컨테이너 메모리 limit 초과 시 커널 OOM killer가 보냄
- JVM은 SIGKILL을 가로챌 수 없음 → 정리 코드가 존재해도 실행 기회가 없음
04. K8s에서 로컬 디렉토리를 어디에 둘 것인가
Volume 이름이 spark-local-dir-로 시작하면 Spark가 그 마운트 경로를 로컬 디렉토리로 사용함.
# hostPath 예시--conf spark.kubernetes.executor.volumes.hostPath.spark-local-dir-1.mount.path=/data/spark-local--conf spark.kubernetes.executor.volumes.hostPath.spark-local-dir-1.options.path=/data/spark-local| 방식 | 위치 | Pod 삭제 시 | 장점 | 함정 |
|---|---|---|---|---|
| emptyDir (지정 안 하면 기본) | kubelet 루트 디스크 | K8s가 삭제 ✅ | 정리 걱정 없음 | 루트 디스크가 작으면 셔플 피크를 못 받음. sizeLimit 초과 시 Pod evict |
emptyDir medium: Memory (spark.kubernetes.local.dirs.tmpfs=true) | RAM | K8s가 삭제 | 빠름 | 사용량이 컨테이너 메모리로 계산 → OOM 위험 |
| hostPath | 노드의 지정 경로 (큰 데이터 디스크) | 아무도 안 지움 ❌ | 큰 디스크 활용 | 비정상 종료 잔여물이 영구 누적 |
PVC (claimName=OnDemand) | 동적 프로비저닝 볼륨 | PVC 정책에 따름 | 크기 보장, 재사용 가능 | 스토리지 클래스 필요, 프로비저닝 지연 |
- 실제로 hostPath를 고른 이유: 루트 디스크(약 430G)로는 아침 피크(노드당 110~240G)를 받으면서 Trino 등 다른 Pod와 공존하기 어려웠음
- hostPath를 택하면 정리 책임도 같이 가져와야 함 — 이걸 놓친 것이 디스크 증가의 원인
YARN과의 비교
- YARN NodeManager는 앱 종료 시
usercache/<user>/appcache/<appId>를 앱 단위로 통째 삭제 - Executor가 SIGKILL로 죽어도 NM이 대신 지워줌
- K8s hostPath에는 이 역할을 하는 주체가 없음 → 직접 만들어야 함
05. 진단에서 얻은 것
5-1. HDFS used vs non-DFS used
DataNode 볼륨 용량├── DFS Used ← HDFS 블록├── Non-DFS Used ← 같은 디스크의 HDFS 아닌 모든 것 (+ 예약 공간 회계)└── Remaining- “하둡 용량이 늘었다” → 먼저 DFS Used인지 Non-DFS Used인지 분리
- 이번 경우 DFS Used는 2주간 +0.1T(정상 증가), Non-DFS Used가 1.55T → 3.55T
- Non-DFS 증가 = HDFS 밖의 무언가가 같은 디스크를 쓰고 있다는 신호
5-2. 공존(co-location) 확인
- K8s 노드 IP와 DataNode IP를 대조 → 같은 물리 서버
- Executor Pod의 hostPath가 DataNode와 같은
/data디스크
5-3. 대조군으로 원인 좁히기
| 노드 | Executor 스케줄 | /data 증가 |
|---|---|---|
| node-01 | 제외 (nodeAffinity NotIn) | +0.04T |
| node-02 ~ 05 | 대상 | +0.36 ~ 0.66T |
- Executor가 안 뜨는 노드만 안 늘었음 → 원인 후보가 Executor로 수렴
- 시간축도 일치: 일일 증가분이 실패·재실행이 많았던 날에 몰림. 정상일에는 아침에 수백 G가 올라갔다 바로 빠짐
5-4. 틀린 노드에서 확인하면 틀린 결론
- 첫 확인에서
du -sh /data/spark-local= 0 → 가설 철회 - 다시 보니 그 노드는 Executor가 안 뜨는 node-01이었음
- 증가폭이 가장 큰 노드에서 다시 확인하니
584G, 대부분 20~45G짜리blockmgr-* - 대조군 노드로 검증하면 당연히 음성 — 확인할 노드를 먼저 고정할 것
5-5. df와 du가 다를 때
df(파일시스템 사용량)는 늘었는데du(파일 합계)에 안 잡히면 → 삭제됐지만 프로세스가 열고 있는 파일lsof +L1로 확인. 이번 건은 du에 그대로 잡혀서 해당 없었음
06. 해결
6-1. Driver Pod — 정리 Task
def stale_driver_pods(pods, now, keep=timedelta(days=3)) -> list[str]: """Succeeded/Failed 이고 컨테이너가 끝난 지 keep 이 지난 pod 이름.""" names = [] for pod in pods: if pod.status.phase not in ("Succeeded", "Failed"): continue finished = [ cs.state.terminated.finished_at for cs in pod.status.container_statuses or [] if cs.state and cs.state.terminated and cs.state.terminated.finished_at ] if finished and now - max(finished) > keep: names.append(pod.metadata.name) return names
# label_selector="spark-role=driver,<team-label>" → 다른 팀 Pod는 건드리지 않음- 기준은
creationTimestamp가 아니라 컨테이너 종료 시각. 오래 돈 잡이 끝나자마자 지워지는 것을 막음 - 종료 시각을 알 수 없으면 지우지 않음 (보수적으로)
6-2. 로컬 디렉토리 — 노드별 정리 DaemonSet
apiVersion: apps/v1kind: DaemonSetmetadata: name: spark-local-dir-cleanerspec: template: spec: # Executor와 같은 노드 범위 (nodeSelector / affinity / tolerations) securityContext: {runAsUser: 185, runAsNonRoot: true} # Executor와 같은 uid containers: - name: cleaner image: busybox:1.36 env: [{name: IDLE_MIN, value: "360"}] command: ["/bin/sh", "-c"] args: - | while true; do for d in /data/spark-local/*/; do [ -d "$d" ] || continue [ -n "$(find "$d" -mmin -"$IDLE_MIN" | head -n 1)" ] && continue rm -rf "$d" done sleep 3600 done volumeMounts: [{name: spark-local, mountPath: /data/spark-local}] volumes: - name: spark-local hostPath: {path: /data/spark-local, type: Directory}- “안의 파일이 하나라도 최근 N분 내 바뀌었으면 건너뜀” — 디렉토리 자체 mtime은 하위 파일 쓰기에 갱신되지 않으므로 재귀로 봐야 함
- N은 가장 긴 잡의 timeout보다 충분히 크게 (timeout 2시간 → 6시간)
- 실행 중인 Executor의 디렉토리를 지우면
FetchFailedException→ Stage 재시도로 이어지므로, 애매하면 남기는 쪽으로
Concept
- Bare Pod : Job·Deployment 같은 컨트롤러 없이 직접 생성된 Pod. spark-submit의 Driver Pod가 이 형태. 컨트롤러 기반 TTL이 적용되지 않음
- ownerReference : K8s 객체 간 소유 관계. 소유자가 삭제되면 GC가 피소유 객체를 연쇄 삭제(cascading deletion)
- spark.kubernetes.executor.deleteOnTermination : Executor Pod 종료 시 자동 삭제 여부. 기본 true. Driver에는 대응 옵션 없음
- timeToLiveSeconds (Spark Operator) : SparkApplication 종료 후 GC까지의 시간. Operator 사용 시의 표준 정리 수단
- terminated-pod-gc-threshold : kube-controller-manager의 PodGC 임계치. 종료 Pod 수가 이를 넘으면 오래된 것부터 삭제. 기본 12500
- spark.local.dir / SPARK_LOCAL_DIRS : Shuffle·Spill·Persist 블록이 기록되는 Executor 로컬 디렉토리
- DiskBlockManager : 로컬 디렉토리 아래
blockmgr-*를 만들고 블록 파일을 해시 서브디렉토리에 배치하는 컴포넌트. 정상 종료 시 shutdown hook으로 삭제 - spark-local-dir- 접두사 : K8s Volume 이름이 이 접두사로 시작하면 Spark가 해당 마운트를 로컬 디렉토리로 사용
- emptyDir : Pod 수명과 함께하는 임시 볼륨. Pod 삭제 시 kubelet이 삭제. 기본 위치는 kubelet 루트 디스크
- hostPath : 노드 파일시스템 경로를 직접 마운트. Pod와 무관하게 남음 → 정리 책임이 사용자에게 있음
- exit code 137 : SIGKILL(9)로 종료됨(128+9). K8s에서는 대개 메모리 limit 초과로 인한 OOMKilled
- JVM Shutdown Hook : JVM 종료 시 실행되는 정리 코드. SIGTERM에는 실행되나 SIGKILL에는 실행되지 않음
- terminationGracePeriodSeconds : Pod 삭제 시 SIGTERM 후 SIGKILL까지의 유예 시간. 기본 30초
- Non-DFS Used : DataNode 볼륨에서 HDFS 블록이 아닌 사용량. 같은 디스크를 쓰는 다른 프로세스의 흔적
- DaemonSet : 조건에 맞는 모든 노드에 Pod를 하나씩 띄우는 컨트롤러. 노드 로컬 정리 작업에 적합
Key_Takeaways
- YARN에서 K8s로 옮기면 NodeManager가 암묵적으로 해주던 정리가 사라짐. 앱 단위 로컬 디렉토리 삭제, 컨테이너 정리 등을 누가 할지 전환 체크리스트에 넣어야 함
- spark-submit의 Driver Pod는 bare Pod라 TTL을 걸 곳이 없음. Operator면
timeToLiveSeconds, 아니면 라벨 기반 정리 Job이 표준 - Spark의 로컬 디렉토리 정리는 shutdown hook에 의존함. OOMKilled(SIGKILL)는 hook을 건너뛰므로, OOM이 잦은 잡일수록 디스크 잔여물이 쌓임 — 메모리 문제가 디스크 문제로 번짐
- hostPath를 고르는 순간 정리 책임도 함께 가져옴. emptyDir는 정리를 K8s가 하지만 루트 디스크 용량에 묶임. 선택 기준은 “피크 용량을 어디서 받을 수 있는가”와 “누가 지우는가”
- 용량 이상 진단은 DFS / non-DFS 분리 → 공존 컴포넌트 확인 → 대조군 노드 비교 순서가 빠름. 그리고 검증은 대조군이 아닌 노드에서 해야 함
추가적으로 공부하면 좋은 컨셉, 주제들:
- External Shuffle Service on K8s / Remote Shuffle Service (Celeborn, Uniffle) : Shuffle 파일을 Executor 밖으로 빼내 Executor 수명과 분리. 로컬 디스크 의존 자체를 줄이는 방향
- spark.dynamicAllocation.shuffleTracking : ESS 없는 K8s에서 Shuffle 데이터를 가진 Executor를 바로 반납하지 않게 하는 메커니즘.
shuffleTracking.timeout과 함께 이해 필요 - Executor Decommissioning (
spark.decommission.enabled) : Executor 종료 전 Shuffle·캐시 블록을 다른 Executor로 이관. 정상 축소 시 데이터 손실 감소 - PVC 재사용 (
spark.kubernetes.driver.ownPersistentVolumeClaim,reusePersistentVolumeClaim) : Executor 재시작 시 기존 로컬 볼륨을 재사용해 재계산 비용 감소 - Spark History Server + 이벤트 로그 원격 저장 : Driver Pod를 빨리 지워도 사후 분석이 가능하게 하는 전제 조건
- kubelet 이미지·컨테이너 GC (
imageGCHighThresholdPercent) : 루트 디스크를 emptyDir와 함께 쓰는 경우 같이 고려해야 할 디스크 압박 요인
퀴즈
Q1. Spark on K8s로 전환한 뒤 Executor가 OOMKilled로 자주 재시작되는 잡이 있음. 메모리 문제와 별개로, 시간이 지나면서 어떤 운영 문제가 추가로 생길 수 있는지, 그리고 로컬 디렉토리를 hostPath에 둔 경우와 emptyDir에 둔 경우가 어떻게 다른지 설명하시오.
A1.
추가로 생기는 문제 — 로컬 디렉토리 잔여물 누적
- Executor의
blockmgr-*는 정상 종료 시 JVM shutdown hook에서 삭제됨 - OOMKilled는 SIGKILL(exit 137)이라 hook이 실행되지 않음 → Shuffle 파일·Spill·Persist 블록이 그대로 남음
- 큰 소스를
DISK_ONLY로 persist하는 잡이면 Executor 하나당 수십 G가 남을 수 있음
볼륨 방식에 따른 차이
| hostPath | emptyDir | |
|---|---|---|
| Pod 삭제 후 | 노드 경로에 영구히 남음 | kubelet이 볼륨째 삭제 |
| 누적 | 실패할 때마다 쌓임 → 같은 디스크의 다른 서비스(HDFS DataNode 등) 용량 잠식 | 누적 없음 |
| 대신 생기는 위험 | - | 루트 디스크 압박, sizeLimit 초과 시 Pod evict |
- hostPath면 노드별 정리 주체(DaemonSet 등) 가 필요하고, 실행 중인 디렉토리를 지우지 않도록 “최근 N시간 내 변경 없음” 같은 보수적 기준을 둬야 함
- 근본적으로는 OOM 자체를 줄이는 것(
memoryOverhead조정 등)이 디스크 문제도 함께 줄임
Q2. “하둡 클러스터 용량이 며칠 새 2T 늘었다”는 보고를 받음. HDFS에 새로 적재된 대용량 데이터는 없다고 함. 원인을 좁혀가는 순서를 설명하시오.
A2.
① DFS Used와 Non-DFS Used 분리
- NameNode JMX(
NameNodeInfo) 또는 메트릭으로 둘의 추이를 확인 - DFS Used가 평평하고 Non-DFS Used만 늘었다면 → HDFS가 아닌 무언가가 DataNode 디스크를 쓰는 중
② 같은 디스크를 쓰는 컴포넌트 식별
- DataNode 호스트에 함께 떠 있는 것: NodeManager local-dir, K8s 노드(hostPath), 다른 스토리지 서비스 등
- K8s라면
/data아래를 hostPath로 마운트하는 Pod 목록을 조회
③ 노드별 증가량과 배치 조건 대조
- 특정 워크로드가 배치되지 않는 노드가 있다면 그 노드를 대조군으로 사용
- 대조군만 안 늘었다면 그 워크로드가 원인 후보
- 시간축(어느 날, 몇 시에 늘었나)을 워크로드 실패·재실행 이력과 대조
④ 실제 디렉토리 확인 — 반드시 증가한 노드에서
du -xh --max-depth=2 /data | sort -h | taildf와du가 크게 다르면lsof +L1로 삭제됐지만 열린 파일 확인
함정: 대조군 노드에서 du를 돌리면 0이 나와 올바른 가설을 기각하게 됨. 확인할 노드부터 고정할 것
[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기
https://yjinheon.netlify.app/posts/02de/03-spark/spark-k8s-local-dir-lifecycle/