4843 words
24 minutes
[Spark] YARN에서 Spark on K8s로 — 이관 절차와 검토사항

01. Overview#

  • 하둡 노드 5대 위에 YARN NodeManager와 K8s(Trino 워커)가 같이 떠 있던 구성에서, Spark 배치를 Spark on K8s(native spark-submit, cluster mode)로 옮긴 과정을 정리
  • 출발점은 Spark가 아니라 메모리 장부가 두 개라는 문제
    • K8s는 Trino Pod의 request/limit만 알고, YARN은 NM 상한(노드당 60G)만 앎
    • 둘 다 “내 몫은 확보됐다”고 믿는 상태에서 새벽 YARN 피크와 Trino 큰 쿼리가 겹치면 → Trino 에러가 아니라 커널 OOM killer
  • 이관의 목적은 “Spark를 최신 방식으로”가 아니라 장부를 하나로 합쳐 시간대별로 나눠 쓰게 하는 것
  • 대상 repo 3개(YARN 사용량 80% / 10% / 9%), 그중 운영 critical은 하나. 이 글은 첫 repo(80%)를 끝내고 마지막 repo를 시작하는 시점의 기록

02. 옮기기 전에 — 기준선부터#

2-1. 정적 합계#

Trino limit 96Gi + NM 상한 60G + 호스트 상시 30~45G ≈ 186~200G > 노드 125G
  • 노드마다 “최악의 경우 합계”를 먼저 계산함. 이미 초과 할당 상태였음
  • 첫 조치는 이관이 아니라 잡 영향 0인 안전조치: Trino limit 96Gi → 64Gi (실사용 ~50G보다 위라 평소엔 안 걸림)

2-2. “K8s 밖” 메모리는 대부분 page cache였음#

측정 방법노드당 “K8s 밖”
kubelet stats (전체 − Pod 합)27~45G
ps RSS 분해 (DataNode·NM·RustFS·HMS 등)10~12G (메타스토어 몰린 노드만 ~28G)
  • 차이는 page cache. 회수 가능한 메모리라 합계에 넣으면 위험을 과대평가함
  • SSH 권한이 없으면 kubectl debug node/<node> --profile=sysadmin + chroot /host 로 측정 가능 (non-root 이미지면 runAsUser: 0 필요)
  • 이 값이 나중에 kubelet system-reserved 의 근거가 됨

2-3. 겹치는지 실제로 보기#

  • 정적 합계는 “가능성”일 뿐. 시간대별 실측으로 겹침 여부를 확인
    • node-exporter MemAvailable + YARN exporter 노드별 사용량 14일치
    • 결과: 0305시에 YARN 5대 합 282296G, 노드 최저 가용 2~5G — 실제로 겹치고 있었음
  • 노드 OOM 로그(/var/log/messages의 Out of memory)도 같이 봄. 0건이면 page cache 회수로 버티는 중
  • YARN RM의 완료 앱 이력은 8일 남짓만 보존됨 → 앱 이력 수집기가 이미 있는지 먼저 찾고, 없으면 스냅샷을 쌓아야 함

2-4. YARN을 누가 쓰는가#

user출처비중
defaultrepo A80.5%
data-engineerrepo C (운영 critical)10.0%
개인 계정repo B9.4%
(뒤늦게 발견) hueHive on Spark소량
  • 이름을 동적으로 만드는 잡(f"batch-{name}")은 grep에 안 걸림 → RM 기록의 user·queue로 역추적
  • “세 repo가 99.9%“라고 정리했는데, NM을 내리기 직전에 Hue가 YARN을 쓰고 있다는 게 드러남. NM 정지 전에 0건 기간을 사용자별로 재확인해야 함

03. 순서 정하기#

기준판단
운영 critical인가critical은 마지막. 플랫폼 시행착오는 깨져도 비용이 작은 쪽에서 치름
회수 효과초과 할당을 실제로 닫는 건 80% repo뿐 → 먼저
제출 경로 단순성순수 SparkSubmitOperator → 먼저. Pipes 같은 메시지 채널이 붙은 쪽은 나중
실행 주기10분 주기 스트림 잡은 Pod 기동 지연 리스크가 큼 → 플랫폼이 굳은 뒤
  • 파일럿은 작은 배치 1개를 scratch 테이블에 적재하고 YARN 결과와 row/hash 비교
  • 비교할 때 주의 — 원천에 늦은 적재가 있으면 시차만으로 diff가 남. 같은 시점에 둘 다 돌리거나 원천이 닫힌 날짜로 비교

04. 플랫폼 — 한 번만 만드는 것#

4-1. 제출 방식#

  • native spark-submit --master k8s:// 를 기본으로 함. 기존 SparkSubmitOperator·제출 클라이언트를 거의 그대로 재사용
  • Spark Operator는 native로 안 되는 게 생길 때만. 대가로 TTL 같은 Operator 기능은 직접 만들어야 함 (로컬 디렉토리와 Pod 수명주기 참고)

4-2. YARN이 해주던 것 → K8s에서 누가 하는가#

YARN에서K8s에서
NM 상한 · FairScheduler 큐ResourceQuota + PriorityClass + 오케스트레이터 Pool
NM local dir (앱 종료 시 NM이 삭제)hostPath /data/spark-local + 정리 DaemonSet
External Shuffle Service없음 → spark.dynamicAllocation.shuffleTracking.enabled=true
spark.yarn.jars (HDFS의 Spark jar)이미지에 포함
앱 파일을 HDFS staging에 업로드spark.kubernetes.file.upload.path (HDFS 경로 지정)
spark.yarn.appMasterEnv.*spark.kubernetes.driverEnv.*
spark.yarn.tags + RM API 추적Driver Pod 라벨 + K8s API 추적
좀비 앱 yarn application -kill라벨로 Driver Pod 삭제 (Executor는 ownerReference로 연쇄 삭제)
노드 이름 해석 (하둡 노드 /etc/hosts)CoreDNS에 없는 호스트는 Pod template hostAliases
  • 이 표가 사실상 전환 체크리스트. 왼쪽 열은 YARN이 암묵적으로 해주던 일이라 코드에 흔적이 없음

4-3. Quota는 대기열이 아님#

apiVersion: v1
kind: ResourceQuota
metadata: {name: spark-executor, namespace: spark}
spec:
hard: {requests.memory: 128Gi, limits.memory: 128Gi, pods: "20"}
scopeSelector:
matchExpressions:
- {scopeName: PriorityClass, operator: In, values: [spark-batch]}
---
apiVersion: v1
kind: ResourceQuota
metadata: {name: spark-driver, namespace: spark}
spec:
hard: {requests.memory: 64Gi, limits.memory: 64Gi, pods: "8"}
scopeSelector:
matchExpressions:
- {scopeName: PriorityClass, operator: In, values: [spark-driver]}
  • ResourceQuota를 넘는 Pod는 Pending이 아니라 생성 단계에서 거절(403 exceeded quota)됨
  • 거절의 결과가 Driver와 Executor에서 다름
대상거절되면결과
ExecutorDriver의 ExecutorPodsAllocator가 주기적으로 재요청느려짐 (덜 붙은 채로 진행)
Driverspark-submit이 한 번 만들고 끝제출 실패 → 태스크 실패
  • Quota가 하나면 큰 잡의 Executor가 dynamic allocation으로 Driver 몫까지 먹음 → 다음 잡 Driver가 거절됨
  • PriorityClass 두 개(값은 같은 -10)로 quota만 나누면 “제출 실패”가 “느려짐”으로 바뀜. Pod template만 둘로 나누면 되고 Spark 설정은 그대로
  • scopeSelector는 생성 후 수정 불가 → 옛 quota는 지우고 새로 만듦. 스코프 붙은 quota만 있으면 PriorityClass 없는 Pod는 제한을 안 받음

4-4. PriorityClass와 OOM 순서#

  • spark-batch: value -10, preemptionPolicy: Never → Trino·Airflow를 밀어내지 않고, 압박 시 먼저 축출됨
  • 커널 OOM killer 순서도 계산해 둠. Burstable Pod의 oom_score_adj = 1000 − 1000 × request / 노드용량
executor (request 16G / 125G) → 872 ← 먼저 죽음 (Spark가 재시도)
Trino (request 52G / 125G) → 584
YARN 컨테이너·호스트 프로세스 → 0 ← K8s 밖이라 끝까지 남음
  • 의미 — 노드가 압박받으면 Executor 다음 희생자가 Trino. YARN 컨테이너는 K8s 바깥이라 보호받는 셈

4-5. 메모리 overhead 기본값이 다름#

기본 memoryOverheadFactor
JVM 잡0.1
PySpark 잡 on K8s0.4
  • 그대로 옮기면 8g Executor가 11.2Gi Pod가 됨 → quota 산정이 전부 틀어짐
  • YARN과 같은 0.1로 명시. 단, 명시한 spark.executor.memoryOverhead가 factor보다 우선
  • 반대로 0.1(≈0.8g)로는 YARN에서 멀쩡하던 잡이 OOMKilled 되기도 함. 같은 factor인데 K8s에서만 죽은 이유는 확정 못 함 (추정: NM의 물리 메모리 체크 설정 차이, 또는 동시 실행으로 Executor가 덜 붙어 Executor당 셔플 부하 증가) → 결국 Executor overhead 기본값을 2g로 둠

4-6. 제출 인증 — 클러스터 밖 vs 안#

제출 위치방법
클러스터 밖 (docker-compose 호스트)제출 전용 SA 토큰 + CA를 파일로 배치. spark.kubernetes.authenticate.submission.oauthTokenFile·caCertFile
클러스터 안 (Airflow worker Pod)Pod에 마운트된 SA 토큰(/var/run/secrets/kubernetes.io/serviceaccount)을 그대로 사용 + 제출 namespace에 RoleBinding
  • 밖에서 제출할 때 자격증명 파일을 배포 디렉토리 아래 두면, 배포 스크립트가 매번 rm -rf 후 덮어써서 사라짐 → 배포 경로 밖 별도 볼륨
  • 제출 권한 = Driver Pod·ConfigMap·Service 생성, 상태 추적 = Pod get/watch, 강제 종료 = Pod delete

05. 전환 실행#

5-1. 그룹은 “시간대의 메모리 조건”으로 나눔#

그룹시간대 상태NM 상한
야간 (큰 잡 3개)YARN이 포화 아님 → 비운 자리를 채울 대기 수요 없음그대로
오전 (나머지 19개)300G 포화K8s가 쓰는 만큼 같은 날 내림
  • 같은 코드 변경이라도 시간대에 따라 안전 조건이 다름
  • 포화된 시간대에 YARN에서 잡을 빼기만 하면 → 비운 자리를 다른 YARN 잡(대기 중이던 수요)이 바로 채움 → K8s 몫은 그 위에 더해짐 → 노드 합계가 오히려 늘어남
  • 그래서 “코드 전환 + NM 상한 축소”를 한 묶음으로 같은 날 해야 함

5-2. 되돌린 변경을 다시 적용할 때#

  • 오전 그룹은 한 번 배포했다가 22분 만에 revert 했었음. 이유는 NM 상한 축소 없이 나갔기 때문
  • 며칠 뒤 revert 이유를 확인하지 않고 재적용 → 같은 선행 조건을 또 빠뜨림
  • 커밋 메시지에 이유가 없다고 끝이 아님. revert의 이유와 선행 조건부터 찾고 재적용

5-3. NM 상한을 내리면 NM 재시작이 필요함#

  • 상한 변경 = NM 재시작. 오래 돈 NM은 recovery 저장소(LevelDB)의 오래된 컨테이너 기록을 시작 단계에서 정리하느라 약 30분간 포트를 안 염
    • 로그 2만 줄 중 99%가 Remove container ... with incomplete records, 가장 오래된 기록은 수년 전
    • CM에는 “RM 연결 안 됨” 경고가 떴지만 프로세스는 살아 있었음. 재시작을 반복할 필요 없었음
  • 교훈: 재시작 전에 recovery 저장소 크기를 보고, YARN 용량이 30분간 줄어든다는 전제로 시간대를 잡음

06. 전환 후 드러난 것#

현상원인조치
YARN에선 성공하던 잡이 Airflow에서만 timeout 실패, 매일 두 번 돎태스크 execution_timeout 기본 30분. YARN cluster mode는 spark-submit이 죽어도 앱이 끝까지 돎 → retry가 또 제출timeout 명시. 읽는 컬럼을 줄여 37분 → 12분
Executor가 quota를 꽉 채우고 exceeded quota 로그 수천 줄YARN에서 쓰던 maxExecutors=10을 그대로 옮김. Pool 2 slot × 10개 × 10Gi > quota 128GiK8s 전용 상한 6 (slot 수 × 잡당 최대 ≤ quota)
같은 잡이 exit 137 반복 → FetchFailed → 실패Executor OOMKilled → DISK_ONLY 블록 유실 → 원천 재읽기 → timeout읽는 컬럼 축소, heap 줄이고 overhead 늘림 (Pod 크기는 유지)
노드 디스크 ~2T 증가OOMKilled는 shutdown hook을 건너뜀 → hostPath에 blockmgr-* 잔여정리 DaemonSet (별도 글)
끝난 Driver Pod가 계속 쌓임spark-submit의 Driver는 bare Pod라 TTL 없음라벨 기반 정리 DAG
배포 중 pool 밖에서 Driver가 하나 더 돎오케스트레이터 재배포로 추적이 끊긴 Driver가 계속 실행되는 사이 retry가 새로 제출 (추정)배치 체인 도는 시간대엔 배포 금지
Pod 시작이 cron보다 5분 이름제출 호스트 시계가 클러스터보다 빠름NTP 확인
  • 공통점 — 대부분 K8s 문제가 아니라 YARN이 가려주던 문제가 드러난 것
    • YARN cluster mode는 클라이언트와 앱이 분리돼 있어 timeout·중복 실행이 데이터로는 안 보였음
    • 메모리 한도를 넘는 순간 cgroup이 바로 SIGKILL 하므로, 경계에 걸쳐 돌던 잡이 OOMKilled로 드러남
  • 7일 무사고 관찰을 단계 진입 조건으로 뒀다가 뺐음. 관찰의 근거였던 실패 알림이 깨져 있었음(웹훅 401). 관찰 기간을 줄이려면 알림이 실제로 도착하는지부터 확인

07. 운영 critical repo를 옮길 때 추가로 보는 것#

  • 첫 repo는 조건문 하나(master가 k8s://면 YARN 키 제거 + K8s 키 추가)로 끝났지만, 운영 repo에는 YARN에 기대는 코드가 conf 밖에도 있음
YARN_ONLY_CONF_PREFIXES = ("spark.yarn.", "spark.hadoop.yarn.", "spark.shuffle.service.")
def build_spark_conf(self, overrides=None) -> dict[str, str]:
conf = {...} # 공통 + YARN conf
if self.runtime == "k8s":
conf = {k: v for k, v in conf.items() if not k.startswith(YARN_ONLY_CONF_PREFIXES)}
conf.update(self.k8s_conf()) # ns·image·upload path·pod template·hostPath·overhead
if overrides:
conf.update(overrides) # 잡별 설정이 항상 마지막
return conf
YARN 결합 지점찾는 법대체
conf (spark.yarn.*)설정 객체위 필터
RM REST API로 상태 추적operator 인자provider의 K8s API 추적 옵션 (submit JVM을 놓고 Driver Pod phase 폴링)
“같은 writer가 이미 돌고 있나” 가드RM API를 부르는 코드라벨로 Running Driver Pod 조회
실패 시 Driver 로그 첨부YARN 로그 집계 조회Driver Pod 로그
잡 파일 위치앱 경로 계산upload path를 쓰면 이미지와 무관
python archive (--archives hdfs://...tar.gz)의존성 배포repo 레이어 이미지
  • 잡별 opt-in(runtime="k8s" 한 줄)으로 만들어 롤백 = 그 한 줄 삭제가 되게 함
  • 파일럿은 비밀값·외부 의존성이 없고, 다시 돌려도 결과가 같은(멱등) manual 잡으로 고름

Concept

  • NodeManager 상한 : yarn.nodemanager.resource.memory-mb. YARN이 노드에서 쓸 수 있다고 믿는 메모리. K8s는 이 값을 모름
  • 정적 합계 : 노드 위 각 장부의 상한(Trino limit + NM 상한 + 호스트 상시 몫)을 더한 최악값. 물리 메모리를 넘으면 초과 할당
  • page cache : 커널이 파일 I/O 캐시로 쓰는 메모리. 압박 시 회수됨. “사용 중”으로 세면 위험을 과대평가
  • native spark-submit on K8s : spark-submit이 Driver Pod를 직접 만들고, Driver가 Executor Pod를 만드는 방식. Operator·CRD 없음
  • ResourceQuota scopeSelector (PriorityClass) : 특정 PriorityClass를 단 Pod에만 적용되는 quota. 같은 namespace에서 Driver/Executor 몫을 분리할 때 사용
  • quota 거절 : quota를 넘는 Pod는 Pending이 아니라 API 서버에서 생성 거절. 줄 세우기는 오케스트레이터 Pool이 담당
  • PriorityClass preemptionPolicy: Never : 우선순위만 낮추고 다른 Pod를 선점하지 않음
  • oom_score_adj : 커널 OOM killer의 희생자 선택 가중치. Burstable Pod는 request 비율로 계산되어 request가 작을수록 먼저 죽음
  • memoryOverheadFactor : Executor/Driver heap 외 메모리 비율. K8s에서 PySpark 기본 0.4, JVM 0.1
  • shuffleTracking : External Shuffle Service 없이 dynamic allocation을 쓰기 위해 셔플 데이터를 가진 Executor 반납을 늦추는 기능
  • spark.kubernetes.file.upload.path : 로컬 앱 파일·py-files를 올릴 HCFS 경로. Driver Pod가 여기서 받아감
  • hostAliases : Pod의 /etc/hosts에 항목 추가. 클러스터 DNS에 없는 하둡 호스트 해석에 사용
  • NM recovery : yarn.nodemanager.recovery.enabled. NM 재시작 시 컨테이너 상태를 LevelDB에서 복구. 오래 쌓이면 시작이 느려짐

Key_Takeaways

  • Spark를 K8s로 옮겨도 메모리가 생기지 않음. 얻는 것은 장부 통합(quota·priority로 시간대 공유)과 NM의 고정 상한 제거. 목적을 이렇게 잡아야 단계별 종료 조건이 “잡이 돈다”가 아니라 “정적 합계가 닫힌다”가 됨
  • 이관 전에 정적 합계 → RSS 분해(page cache 제외) → 시간대 실측 → 사용자별 YARN 사용량 순으로 기준선을 잡음. 숨은 사용자(Hue 등)는 NM 정지 직전에야 드러나기 쉬움
  • YARN이 암묵적으로 해주던 일(local dir 정리, 셔플 서비스, 앱 추적, 좀비 정리, 호스트 해석)을 표로 만들고 K8s에서 각각 누가 할지 정함. 이 표가 체크리스트
  • ResourceQuota는 대기열이 아님. Driver 거절은 제출 실패, Executor 거절은 느려짐. PriorityClass scope로 둘의 quota를 나눔
  • 포화된 시간대에서 잡을 빼면 비운 자리를 다른 YARN 잡이 채움. 코드 전환과 NM 상한 축소는 같은 날 한 묶음
  • 자원 설정은 그대로 옮기지 말고 다시 계산: PySpark overhead 0.4, slot 수 × 잡당 maxExecutors ≤ quota, YARN에서 멀쩡하던 overhead도 K8s에서 다시 검증
  • 전환 후 문제의 상당수는 YARN이 가려주던 문제(timeout 후에도 앱이 끝까지 돌아 생긴 중복 실행 등). 실패 알림이 실제로 오는지 먼저 확인하고 관찰 기간을 정함
  • 운영 critical repo는 conf 밖의 YARN 결합(RM API 가드, 로그 수집, archive)까지 찾고, 잡별 opt-in + 한 줄 롤백 구조로 하나씩 옮김

추가적으로 공부하면 좋은 컨셉, 주제들:

  • Spark Operator (SparkApplication CRD) : TTL·재시도·상태 관리를 선언형으로. native 제출에서 직접 만든 정리·추적 장치와 비교
  • Volcano / YuniKorn : K8s에서 YARN 큐·gang scheduling을 대체하는 배치 스케줄러. quota 거절 대신 실제 대기열이 필요할 때
  • Remote Shuffle Service (Celeborn, Uniffle) : 셔플을 Executor 밖으로. shuffleTracking·hostPath 의존을 줄이는 방향
  • kubelet system-reserved / kube-reserved : K8s 밖 프로세스(DataNode 등) 몫을 Allocatable에서 빼서 스케줄러가 정직한 값을 보게 함
  • Spark History Server + 원격 event log : Driver Pod를 빨리 지워도 사후 분석이 가능하게 하는 전제
  • cgroup v1 vs v2 메모리 동작 : 구형 커널(cgroup v1)에서 limit·OOM 신호가 어떻게 다른지

퀴즈#

Q1. 새벽 03~05시에 YARN 사용량이 상한(300G)까지 차는 클러스터에서, 그 시간대에 도는 Spark 잡 몇 개를 K8s로 옮겼음. NM 상한은 그대로 둠. 노드 메모리 관점에서 무슨 일이 생길 수 있는지, 그리고 왜 야간(포화 아닌 시간대) 잡은 같은 방식으로 옮겨도 괜찮았는지 설명하시오.

A1.

포화 시간대에서 생기는 일

  • YARN이 포화라는 건 대기 중인 수요가 있다는 뜻
  • 잡을 K8s로 빼면 YARN에 빈 자리가 생기고, 대기하던 다른 YARN 잡이 바로 채움 → YARN 사용량은 여전히 300G
  • K8s로 옮긴 잡의 메모리는 그 위에 추가됨 → 노드 합계 증가
  • 압박 시 OOM 순서는 Executor → Trino → (YARN·호스트는 K8s 밖이라 0). Executor 다음 희생자가 Trino

야간 잡이 괜찮았던 이유

  • 그 시간대 YARN은 상한 아래(대기 수요 없음) → 빈 자리를 채울 잡이 없음
  • YARN이 내준 만큼을 K8s가 가져갈 뿐이라 노드 합계는 그대로

결론: 포화 시간대 잡을 옮길 때는 NM 상한을 K8s가 쓰는 만큼 같은 날 내려야 함. 상한이 수요보다 낮아지면 YARN 잡은 실패하지 않고 큐에서 기다리므로, 남은 YARN 사용자(특히 짧은 주기 잡)가 얼마나 밀리는지를 함께 측정


Q2. Spark on K8s namespace에 ResourceQuota 128Gi 하나를 두었음. 큰 잡 A(Executor 최대 116Gi)가 도는 중에 작은 잡 B(Driver 4Gi)를 제출했더니 B가 즉시 실패함. 원인과 해결 방법을 설명하시오. 잡 A의 Executor 요청이 일부 거절됐는데도 A는 실패하지 않은 이유도 함께 설명하시오.

A2.

원인

  • ResourceQuota는 대기열이 아님. 남은 quota보다 큰 Pod는 API 서버가 생성을 거절(exceeded quota)
  • A의 Executor가 dynamic allocation으로 quota를 거의 다 채운 상태 → B의 Driver Pod 생성 거절
  • Driver는 spark-submit이 한 번 만들고 끝 → 거절 = spark-submit 실패 = 태스크 실패

A가 안 죽은 이유

  • Executor는 Driver 안의 ExecutorPodsAllocator가 주기적으로 재요청
  • 거절은 “Executor가 덜 붙은 채 진행”일 뿐 → 느려질 뿐 실패하지 않음

해결

방법효과비용
PriorityClass 두 개 + scopeSelector로 Driver/Executor quota 분리Executor는 Executor quota 안에서만 경쟁, Driver 자리는 항상 남음Pod template 2개
잡당 maxExecutors 상한한 잡의 독점 방지혼자 도는 시간대에도 느려짐
오케스트레이터 retries재시도로 우회같은 상황이 반복될 수 있음
  • 근본 해결은 quota 분리. 거기에 slot 수 × 잡당 maxExecutors × Pod 크기 ≤ Executor quota 가 되도록 상한을 계산해 두면 거절 로그 자체가 사라짐
[Spark] YARN에서 Spark on K8s로 — 이관 절차와 검토사항
https://yjinheon.netlify.app/posts/02de/03-spark/spark-yarn-to-k8s-migration/
Author
Datamind
Published at
2026-11-12
License
CC BY-NC-SA 4.0