Airflow에서 SparkSubmitOperator를 통해 실행된 PySpark 애플리케이션이 로컬 개발 환경에서는 잘 동작하지만, YARN 클러스터 환경에서는 configparser.NoSectionError를 발생시키며 실패하는 현상을 다룸

ClickHouse에서 FINAL 키워드는 MergeTree 계열 테이블에서 아직 물리적으로 Merge되지 않은 중복/삭제/버전 데이터를, 쿼리 시점에 강제로 정리해서 읽는 키워드

Concept

: 하나의 LLM이 생성과 평가를 모두 진행

AI Agent는 단순히 질문에 답하는 LLM을 넘어서, 환경을 인식하고, 계획을 세우고, 도구를 사용하며, 목표를 달성하기 위해 자율적으로 행동하는 시스템을 의미함

1. 비용 절감

데이터베이스는 크게 두 부분으로 나눌 수 있음

Concept