4843 words
24 minutes
[Spark] YARN에서 Spark on K8s로 — 이관 절차와 검토사항
01. Overview
- 하둡 노드 5대 위에 YARN NodeManager와 K8s(Trino 워커)가 같이 떠 있던 구성에서, Spark 배치를 Spark on K8s(native spark-submit, cluster mode)로 옮긴 과정을 정리
- 출발점은 Spark가 아니라 메모리 장부가 두 개라는 문제
- K8s는 Trino Pod의 request/limit만 알고, YARN은 NM 상한(노드당 60G)만 앎
- 둘 다 “내 몫은 확보됐다”고 믿는 상태에서 새벽 YARN 피크와 Trino 큰 쿼리가 겹치면 → Trino 에러가 아니라 커널 OOM killer
- 이관의 목적은 “Spark를 최신 방식으로”가 아니라 장부를 하나로 합쳐 시간대별로 나눠 쓰게 하는 것
- 대상 repo 3개(YARN 사용량 80% / 10% / 9%), 그중 운영 critical은 하나. 이 글은 첫 repo(80%)를 끝내고 마지막 repo를 시작하는 시점의 기록
02. 옮기기 전에 — 기준선부터
2-1. 정적 합계
Trino limit 96Gi + NM 상한 60G + 호스트 상시 30~45G ≈ 186~200G > 노드 125G- 노드마다 “최악의 경우 합계”를 먼저 계산함. 이미 초과 할당 상태였음
- 첫 조치는 이관이 아니라 잡 영향 0인 안전조치: Trino limit 96Gi → 64Gi (실사용 ~50G보다 위라 평소엔 안 걸림)
2-2. “K8s 밖” 메모리는 대부분 page cache였음
| 측정 방법 | 노드당 “K8s 밖” |
|---|---|
| kubelet stats (전체 − Pod 합) | 27~45G |
ps RSS 분해 (DataNode·NM·RustFS·HMS 등) | 10~12G (메타스토어 몰린 노드만 ~28G) |
- 차이는 page cache. 회수 가능한 메모리라 합계에 넣으면 위험을 과대평가함
- SSH 권한이 없으면
kubectl debug node/<node> --profile=sysadmin+chroot /host로 측정 가능 (non-root 이미지면runAsUser: 0필요) - 이 값이 나중에 kubelet
system-reserved의 근거가 됨
2-3. 겹치는지 실제로 보기
- 정적 합계는 “가능성”일 뿐. 시간대별 실측으로 겹침 여부를 확인
- node-exporter
MemAvailable+ YARN exporter 노드별 사용량 14일치 - 결과: 03
05시에 YARN 5대 합 282296G, 노드 최저 가용 2~5G — 실제로 겹치고 있었음
- node-exporter
- 노드 OOM 로그(
/var/log/messages의Out of memory)도 같이 봄. 0건이면 page cache 회수로 버티는 중 - YARN RM의 완료 앱 이력은 8일 남짓만 보존됨 → 앱 이력 수집기가 이미 있는지 먼저 찾고, 없으면 스냅샷을 쌓아야 함
2-4. YARN을 누가 쓰는가
| user | 출처 | 비중 |
|---|---|---|
default | repo A | 80.5% |
data-engineer | repo C (운영 critical) | 10.0% |
| 개인 계정 | repo B | 9.4% |
(뒤늦게 발견) hue | Hive on Spark | 소량 |
- 이름을 동적으로 만드는 잡(
f"batch-{name}")은 grep에 안 걸림 → RM 기록의 user·queue로 역추적 - “세 repo가 99.9%“라고 정리했는데, NM을 내리기 직전에 Hue가 YARN을 쓰고 있다는 게 드러남. NM 정지 전에 0건 기간을 사용자별로 재확인해야 함
03. 순서 정하기
| 기준 | 판단 |
|---|---|
| 운영 critical인가 | critical은 마지막. 플랫폼 시행착오는 깨져도 비용이 작은 쪽에서 치름 |
| 회수 효과 | 초과 할당을 실제로 닫는 건 80% repo뿐 → 먼저 |
| 제출 경로 단순성 | 순수 SparkSubmitOperator → 먼저. Pipes 같은 메시지 채널이 붙은 쪽은 나중 |
| 실행 주기 | 10분 주기 스트림 잡은 Pod 기동 지연 리스크가 큼 → 플랫폼이 굳은 뒤 |
- 파일럿은 작은 배치 1개를 scratch 테이블에 적재하고 YARN 결과와 row/hash 비교
- 비교할 때 주의 — 원천에 늦은 적재가 있으면 시차만으로 diff가 남. 같은 시점에 둘 다 돌리거나 원천이 닫힌 날짜로 비교
04. 플랫폼 — 한 번만 만드는 것
4-1. 제출 방식
- native
spark-submit --master k8s://를 기본으로 함. 기존SparkSubmitOperator·제출 클라이언트를 거의 그대로 재사용 - Spark Operator는 native로 안 되는 게 생길 때만. 대가로 TTL 같은 Operator 기능은 직접 만들어야 함 (로컬 디렉토리와 Pod 수명주기 참고)
4-2. YARN이 해주던 것 → K8s에서 누가 하는가
| YARN에서 | K8s에서 |
|---|---|
| NM 상한 · FairScheduler 큐 | ResourceQuota + PriorityClass + 오케스트레이터 Pool |
| NM local dir (앱 종료 시 NM이 삭제) | hostPath /data/spark-local + 정리 DaemonSet |
| External Shuffle Service | 없음 → spark.dynamicAllocation.shuffleTracking.enabled=true |
spark.yarn.jars (HDFS의 Spark jar) | 이미지에 포함 |
| 앱 파일을 HDFS staging에 업로드 | spark.kubernetes.file.upload.path (HDFS 경로 지정) |
spark.yarn.appMasterEnv.* | spark.kubernetes.driverEnv.* |
spark.yarn.tags + RM API 추적 | Driver Pod 라벨 + K8s API 추적 |
좀비 앱 yarn application -kill | 라벨로 Driver Pod 삭제 (Executor는 ownerReference로 연쇄 삭제) |
| 노드 이름 해석 (하둡 노드 /etc/hosts) | CoreDNS에 없는 호스트는 Pod template hostAliases |
- 이 표가 사실상 전환 체크리스트. 왼쪽 열은 YARN이 암묵적으로 해주던 일이라 코드에 흔적이 없음
4-3. Quota는 대기열이 아님
apiVersion: v1kind: ResourceQuotametadata: {name: spark-executor, namespace: spark}spec: hard: {requests.memory: 128Gi, limits.memory: 128Gi, pods: "20"} scopeSelector: matchExpressions: - {scopeName: PriorityClass, operator: In, values: [spark-batch]}---apiVersion: v1kind: ResourceQuotametadata: {name: spark-driver, namespace: spark}spec: hard: {requests.memory: 64Gi, limits.memory: 64Gi, pods: "8"} scopeSelector: matchExpressions: - {scopeName: PriorityClass, operator: In, values: [spark-driver]}- ResourceQuota를 넘는 Pod는
Pending이 아니라 생성 단계에서 거절(403 exceeded quota)됨 - 거절의 결과가 Driver와 Executor에서 다름
| 대상 | 거절되면 | 결과 |
|---|---|---|
| Executor | Driver의 ExecutorPodsAllocator가 주기적으로 재요청 | 느려짐 (덜 붙은 채로 진행) |
| Driver | spark-submit이 한 번 만들고 끝 | 제출 실패 → 태스크 실패 |
- Quota가 하나면 큰 잡의 Executor가 dynamic allocation으로 Driver 몫까지 먹음 → 다음 잡 Driver가 거절됨
- PriorityClass 두 개(값은 같은 -10)로 quota만 나누면 “제출 실패”가 “느려짐”으로 바뀜. Pod template만 둘로 나누면 되고 Spark 설정은 그대로
scopeSelector는 생성 후 수정 불가 → 옛 quota는 지우고 새로 만듦. 스코프 붙은 quota만 있으면 PriorityClass 없는 Pod는 제한을 안 받음
4-4. PriorityClass와 OOM 순서
spark-batch: value -10,preemptionPolicy: Never→ Trino·Airflow를 밀어내지 않고, 압박 시 먼저 축출됨- 커널 OOM killer 순서도 계산해 둠. Burstable Pod의
oom_score_adj = 1000 − 1000 × request / 노드용량
executor (request 16G / 125G) → 872 ← 먼저 죽음 (Spark가 재시도)Trino (request 52G / 125G) → 584YARN 컨테이너·호스트 프로세스 → 0 ← K8s 밖이라 끝까지 남음- 의미 — 노드가 압박받으면 Executor 다음 희생자가 Trino. YARN 컨테이너는 K8s 바깥이라 보호받는 셈
4-5. 메모리 overhead 기본값이 다름
기본 memoryOverheadFactor | |
|---|---|
| JVM 잡 | 0.1 |
| PySpark 잡 on K8s | 0.4 |
- 그대로 옮기면 8g Executor가 11.2Gi Pod가 됨 → quota 산정이 전부 틀어짐
- YARN과 같은 0.1로 명시. 단, 명시한
spark.executor.memoryOverhead가 factor보다 우선 - 반대로 0.1(≈0.8g)로는 YARN에서 멀쩡하던 잡이 OOMKilled 되기도 함. 같은 factor인데 K8s에서만 죽은 이유는 확정 못 함 (추정: NM의 물리 메모리 체크 설정 차이, 또는 동시 실행으로 Executor가 덜 붙어 Executor당 셔플 부하 증가) → 결국 Executor overhead 기본값을 2g로 둠
4-6. 제출 인증 — 클러스터 밖 vs 안
| 제출 위치 | 방법 |
|---|---|
| 클러스터 밖 (docker-compose 호스트) | 제출 전용 SA 토큰 + CA를 파일로 배치. spark.kubernetes.authenticate.submission.oauthTokenFile·caCertFile |
| 클러스터 안 (Airflow worker Pod) | Pod에 마운트된 SA 토큰(/var/run/secrets/kubernetes.io/serviceaccount)을 그대로 사용 + 제출 namespace에 RoleBinding |
- 밖에서 제출할 때 자격증명 파일을 배포 디렉토리 아래 두면, 배포 스크립트가 매번
rm -rf후 덮어써서 사라짐 → 배포 경로 밖 별도 볼륨 - 제출 권한 = Driver Pod·ConfigMap·Service 생성, 상태 추적 = Pod get/watch, 강제 종료 = Pod delete
05. 전환 실행
5-1. 그룹은 “시간대의 메모리 조건”으로 나눔
| 그룹 | 시간대 상태 | NM 상한 |
|---|---|---|
| 야간 (큰 잡 3개) | YARN이 포화 아님 → 비운 자리를 채울 대기 수요 없음 | 그대로 |
| 오전 (나머지 19개) | 300G 포화 | K8s가 쓰는 만큼 같은 날 내림 |
- 같은 코드 변경이라도 시간대에 따라 안전 조건이 다름
- 포화된 시간대에 YARN에서 잡을 빼기만 하면 → 비운 자리를 다른 YARN 잡(대기 중이던 수요)이 바로 채움 → K8s 몫은 그 위에 더해짐 → 노드 합계가 오히려 늘어남
- 그래서 “코드 전환 + NM 상한 축소”를 한 묶음으로 같은 날 해야 함
5-2. 되돌린 변경을 다시 적용할 때
- 오전 그룹은 한 번 배포했다가 22분 만에 revert 했었음. 이유는 NM 상한 축소 없이 나갔기 때문
- 며칠 뒤 revert 이유를 확인하지 않고 재적용 → 같은 선행 조건을 또 빠뜨림
- 커밋 메시지에 이유가 없다고 끝이 아님. revert의 이유와 선행 조건부터 찾고 재적용
5-3. NM 상한을 내리면 NM 재시작이 필요함
- 상한 변경 = NM 재시작. 오래 돈 NM은 recovery 저장소(LevelDB)의 오래된 컨테이너 기록을 시작 단계에서 정리하느라 약 30분간 포트를 안 염
- 로그 2만 줄 중 99%가
Remove container ... with incomplete records, 가장 오래된 기록은 수년 전 - CM에는 “RM 연결 안 됨” 경고가 떴지만 프로세스는 살아 있었음. 재시작을 반복할 필요 없었음
- 로그 2만 줄 중 99%가
- 교훈: 재시작 전에 recovery 저장소 크기를 보고, YARN 용량이 30분간 줄어든다는 전제로 시간대를 잡음
06. 전환 후 드러난 것
| 현상 | 원인 | 조치 |
|---|---|---|
| YARN에선 성공하던 잡이 Airflow에서만 timeout 실패, 매일 두 번 돎 | 태스크 execution_timeout 기본 30분. YARN cluster mode는 spark-submit이 죽어도 앱이 끝까지 돎 → retry가 또 제출 | timeout 명시. 읽는 컬럼을 줄여 37분 → 12분 |
Executor가 quota를 꽉 채우고 exceeded quota 로그 수천 줄 | YARN에서 쓰던 maxExecutors=10을 그대로 옮김. Pool 2 slot × 10개 × 10Gi > quota 128Gi | K8s 전용 상한 6 (slot 수 × 잡당 최대 ≤ quota) |
같은 잡이 exit 137 반복 → FetchFailed → 실패 | Executor OOMKilled → DISK_ONLY 블록 유실 → 원천 재읽기 → timeout | 읽는 컬럼 축소, heap 줄이고 overhead 늘림 (Pod 크기는 유지) |
| 노드 디스크 ~2T 증가 | OOMKilled는 shutdown hook을 건너뜀 → hostPath에 blockmgr-* 잔여 | 정리 DaemonSet (별도 글) |
| 끝난 Driver Pod가 계속 쌓임 | spark-submit의 Driver는 bare Pod라 TTL 없음 | 라벨 기반 정리 DAG |
| 배포 중 pool 밖에서 Driver가 하나 더 돎 | 오케스트레이터 재배포로 추적이 끊긴 Driver가 계속 실행되는 사이 retry가 새로 제출 (추정) | 배치 체인 도는 시간대엔 배포 금지 |
| Pod 시작이 cron보다 5분 이름 | 제출 호스트 시계가 클러스터보다 빠름 | NTP 확인 |
- 공통점 — 대부분 K8s 문제가 아니라 YARN이 가려주던 문제가 드러난 것
- YARN cluster mode는 클라이언트와 앱이 분리돼 있어 timeout·중복 실행이 데이터로는 안 보였음
- 메모리 한도를 넘는 순간 cgroup이 바로 SIGKILL 하므로, 경계에 걸쳐 돌던 잡이 OOMKilled로 드러남
- 7일 무사고 관찰을 단계 진입 조건으로 뒀다가 뺐음. 관찰의 근거였던 실패 알림이 깨져 있었음(웹훅 401). 관찰 기간을 줄이려면 알림이 실제로 도착하는지부터 확인
07. 운영 critical repo를 옮길 때 추가로 보는 것
- 첫 repo는 조건문 하나(
master가k8s://면 YARN 키 제거 + K8s 키 추가)로 끝났지만, 운영 repo에는 YARN에 기대는 코드가 conf 밖에도 있음
YARN_ONLY_CONF_PREFIXES = ("spark.yarn.", "spark.hadoop.yarn.", "spark.shuffle.service.")
def build_spark_conf(self, overrides=None) -> dict[str, str]: conf = {...} # 공통 + YARN conf if self.runtime == "k8s": conf = {k: v for k, v in conf.items() if not k.startswith(YARN_ONLY_CONF_PREFIXES)} conf.update(self.k8s_conf()) # ns·image·upload path·pod template·hostPath·overhead if overrides: conf.update(overrides) # 잡별 설정이 항상 마지막 return conf| YARN 결합 지점 | 찾는 법 | 대체 |
|---|---|---|
conf (spark.yarn.*) | 설정 객체 | 위 필터 |
| RM REST API로 상태 추적 | operator 인자 | provider의 K8s API 추적 옵션 (submit JVM을 놓고 Driver Pod phase 폴링) |
| “같은 writer가 이미 돌고 있나” 가드 | RM API를 부르는 코드 | 라벨로 Running Driver Pod 조회 |
| 실패 시 Driver 로그 첨부 | YARN 로그 집계 조회 | Driver Pod 로그 |
| 잡 파일 위치 | 앱 경로 계산 | upload path를 쓰면 이미지와 무관 |
python archive (--archives hdfs://...tar.gz) | 의존성 배포 | repo 레이어 이미지 |
- 잡별 opt-in(
runtime="k8s"한 줄)으로 만들어 롤백 = 그 한 줄 삭제가 되게 함 - 파일럿은 비밀값·외부 의존성이 없고, 다시 돌려도 결과가 같은(멱등) manual 잡으로 고름
Concept
- NodeManager 상한 :
yarn.nodemanager.resource.memory-mb. YARN이 노드에서 쓸 수 있다고 믿는 메모리. K8s는 이 값을 모름 - 정적 합계 : 노드 위 각 장부의 상한(Trino limit + NM 상한 + 호스트 상시 몫)을 더한 최악값. 물리 메모리를 넘으면 초과 할당
- page cache : 커널이 파일 I/O 캐시로 쓰는 메모리. 압박 시 회수됨. “사용 중”으로 세면 위험을 과대평가
- native spark-submit on K8s : spark-submit이 Driver Pod를 직접 만들고, Driver가 Executor Pod를 만드는 방식. Operator·CRD 없음
- ResourceQuota scopeSelector (PriorityClass) : 특정 PriorityClass를 단 Pod에만 적용되는 quota. 같은 namespace에서 Driver/Executor 몫을 분리할 때 사용
- quota 거절 : quota를 넘는 Pod는 Pending이 아니라 API 서버에서 생성 거절. 줄 세우기는 오케스트레이터 Pool이 담당
- PriorityClass preemptionPolicy: Never : 우선순위만 낮추고 다른 Pod를 선점하지 않음
- oom_score_adj : 커널 OOM killer의 희생자 선택 가중치. Burstable Pod는 request 비율로 계산되어 request가 작을수록 먼저 죽음
- memoryOverheadFactor : Executor/Driver heap 외 메모리 비율. K8s에서 PySpark 기본 0.4, JVM 0.1
- shuffleTracking : External Shuffle Service 없이 dynamic allocation을 쓰기 위해 셔플 데이터를 가진 Executor 반납을 늦추는 기능
- spark.kubernetes.file.upload.path : 로컬 앱 파일·py-files를 올릴 HCFS 경로. Driver Pod가 여기서 받아감
- hostAliases : Pod의
/etc/hosts에 항목 추가. 클러스터 DNS에 없는 하둡 호스트 해석에 사용 - NM recovery :
yarn.nodemanager.recovery.enabled. NM 재시작 시 컨테이너 상태를 LevelDB에서 복구. 오래 쌓이면 시작이 느려짐
Key_Takeaways
- Spark를 K8s로 옮겨도 메모리가 생기지 않음. 얻는 것은 장부 통합(quota·priority로 시간대 공유)과 NM의 고정 상한 제거. 목적을 이렇게 잡아야 단계별 종료 조건이 “잡이 돈다”가 아니라 “정적 합계가 닫힌다”가 됨
- 이관 전에 정적 합계 → RSS 분해(page cache 제외) → 시간대 실측 → 사용자별 YARN 사용량 순으로 기준선을 잡음. 숨은 사용자(Hue 등)는 NM 정지 직전에야 드러나기 쉬움
- YARN이 암묵적으로 해주던 일(local dir 정리, 셔플 서비스, 앱 추적, 좀비 정리, 호스트 해석)을 표로 만들고 K8s에서 각각 누가 할지 정함. 이 표가 체크리스트
- ResourceQuota는 대기열이 아님. Driver 거절은 제출 실패, Executor 거절은 느려짐. PriorityClass scope로 둘의 quota를 나눔
- 포화된 시간대에서 잡을 빼면 비운 자리를 다른 YARN 잡이 채움. 코드 전환과 NM 상한 축소는 같은 날 한 묶음
- 자원 설정은 그대로 옮기지 말고 다시 계산: PySpark overhead 0.4,
slot 수 × 잡당 maxExecutors ≤ quota, YARN에서 멀쩡하던 overhead도 K8s에서 다시 검증 - 전환 후 문제의 상당수는 YARN이 가려주던 문제(timeout 후에도 앱이 끝까지 돌아 생긴 중복 실행 등). 실패 알림이 실제로 오는지 먼저 확인하고 관찰 기간을 정함
- 운영 critical repo는 conf 밖의 YARN 결합(RM API 가드, 로그 수집, archive)까지 찾고, 잡별 opt-in + 한 줄 롤백 구조로 하나씩 옮김
추가적으로 공부하면 좋은 컨셉, 주제들:
- Spark Operator (SparkApplication CRD) : TTL·재시도·상태 관리를 선언형으로. native 제출에서 직접 만든 정리·추적 장치와 비교
- Volcano / YuniKorn : K8s에서 YARN 큐·gang scheduling을 대체하는 배치 스케줄러. quota 거절 대신 실제 대기열이 필요할 때
- Remote Shuffle Service (Celeborn, Uniffle) : 셔플을 Executor 밖으로. shuffleTracking·hostPath 의존을 줄이는 방향
- kubelet system-reserved / kube-reserved : K8s 밖 프로세스(DataNode 등) 몫을 Allocatable에서 빼서 스케줄러가 정직한 값을 보게 함
- Spark History Server + 원격 event log : Driver Pod를 빨리 지워도 사후 분석이 가능하게 하는 전제
- cgroup v1 vs v2 메모리 동작 : 구형 커널(cgroup v1)에서 limit·OOM 신호가 어떻게 다른지
퀴즈
Q1. 새벽 03~05시에 YARN 사용량이 상한(300G)까지 차는 클러스터에서, 그 시간대에 도는 Spark 잡 몇 개를 K8s로 옮겼음. NM 상한은 그대로 둠. 노드 메모리 관점에서 무슨 일이 생길 수 있는지, 그리고 왜 야간(포화 아닌 시간대) 잡은 같은 방식으로 옮겨도 괜찮았는지 설명하시오.
A1.
포화 시간대에서 생기는 일
- YARN이 포화라는 건 대기 중인 수요가 있다는 뜻
- 잡을 K8s로 빼면 YARN에 빈 자리가 생기고, 대기하던 다른 YARN 잡이 바로 채움 → YARN 사용량은 여전히 300G
- K8s로 옮긴 잡의 메모리는 그 위에 추가됨 → 노드 합계 증가
- 압박 시 OOM 순서는 Executor → Trino → (YARN·호스트는 K8s 밖이라 0). Executor 다음 희생자가 Trino
야간 잡이 괜찮았던 이유
- 그 시간대 YARN은 상한 아래(대기 수요 없음) → 빈 자리를 채울 잡이 없음
- YARN이 내준 만큼을 K8s가 가져갈 뿐이라 노드 합계는 그대로
결론: 포화 시간대 잡을 옮길 때는 NM 상한을 K8s가 쓰는 만큼 같은 날 내려야 함. 상한이 수요보다 낮아지면 YARN 잡은 실패하지 않고 큐에서 기다리므로, 남은 YARN 사용자(특히 짧은 주기 잡)가 얼마나 밀리는지를 함께 측정
Q2. Spark on K8s namespace에 ResourceQuota 128Gi 하나를 두었음. 큰 잡 A(Executor 최대 116Gi)가 도는 중에 작은 잡 B(Driver 4Gi)를 제출했더니 B가 즉시 실패함. 원인과 해결 방법을 설명하시오. 잡 A의 Executor 요청이 일부 거절됐는데도 A는 실패하지 않은 이유도 함께 설명하시오.
A2.
원인
- ResourceQuota는 대기열이 아님. 남은 quota보다 큰 Pod는 API 서버가 생성을 거절(
exceeded quota) - A의 Executor가 dynamic allocation으로 quota를 거의 다 채운 상태 → B의 Driver Pod 생성 거절
- Driver는 spark-submit이 한 번 만들고 끝 → 거절 = spark-submit 실패 = 태스크 실패
A가 안 죽은 이유
- Executor는 Driver 안의
ExecutorPodsAllocator가 주기적으로 재요청 - 거절은 “Executor가 덜 붙은 채 진행”일 뿐 → 느려질 뿐 실패하지 않음
해결
| 방법 | 효과 | 비용 |
|---|---|---|
| PriorityClass 두 개 + scopeSelector로 Driver/Executor quota 분리 | Executor는 Executor quota 안에서만 경쟁, Driver 자리는 항상 남음 | Pod template 2개 |
잡당 maxExecutors 상한 | 한 잡의 독점 방지 | 혼자 도는 시간대에도 느려짐 |
| 오케스트레이터 retries | 재시도로 우회 | 같은 상황이 반복될 수 있음 |
- 근본 해결은 quota 분리. 거기에
slot 수 × 잡당 maxExecutors × Pod 크기 ≤ Executor quota가 되도록 상한을 계산해 두면 거절 로그 자체가 사라짐
[Spark] YARN에서 Spark on K8s로 — 이관 절차와 검토사항
https://yjinheon.netlify.app/posts/02de/03-spark/spark-yarn-to-k8s-migration/