Datamind
Blog
Archive
About
Blog
Archive
About
All · Categories · Tags
Recently updated
  • 2026-11-12[spark]MPP와 데이터레이크 하우스 관점에서의 Spark
  • 2026-11-12[Spark] Spark 배포모드
  • 2026-11-10[Kafka] 발행 기록 테이블은 Outbox가 아니다 — 트랜잭션 없는 DB에서 Outbox 만들기
  • 2026-11-10[Iceberg]04. 회고: dbt delete+insert 재실행이 파일 직접 읽기를 막은 이유와 optimize
  • 2026-11-09[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기
  • 2026-11-08[Spark]Spark의 실행모델 과 DAG
  • 2026-11-08[Trino]동적 필터와 파일 프루닝
  • 2026-11-06[Spark] 클러스터 구성요소
  • 2026-11-06[ClickHouse] 경로가 병목일 때: Iceberg Parquet 직접 읽기로 발행 84분 → 3분
  • 2026-11-06[CDC]03. CDC + 배치 서빙: 복제본과 마감분을 경계 하나로 잇기
[Iceberg]04. 회고: dbt delete+insert 재실행이 파일 직접 읽기를 막은 이유와 optimize
2026-11-10

Concept

#iceberg #trino #dbt #clickhouse #troubleshooting #retrospective
[Kafka] 발행 기록 테이블은 Outbox가 아니다 — 트랜잭션 없는 DB에서 Outbox 만들기
2026-11-10

DB INSERT와 Kafka produce는 하나의 트랜잭션으로 묶을 수 없음. 그래서 둘 중 하나가 먼저 일어나고, 그 사이에 프로세스가 죽을 수 있음.

#kafka #outbox #idempotency #clickhouse
[Spark] Spark on K8s의 로컬 디렉토리와 Pod 수명주기
2026-11-09

spark.local.dir(K8s/YARN에서는 SPARK_LOCAL_DIRS)에 Executor가 쓰는 것:

#spark #kubernetes #shuffle
[ClickHouse] 경로가 병목일 때: Iceberg Parquet 직접 읽기로 발행 84분 → 3분
2026-11-06

Concept

#clickhouse #iceberg #trino #troubleshooting
[Trino]동적 필터와 파일 프루닝
2026-11-06

Concept

#trino #iceberg #parquet #query_engine #troubleshooting
[CDC]03. CDC + 배치 서빙: 복제본과 마감분을 경계 하나로 잇기
2026-11-06

Concept

#CDC #clickhouse #lambda_architecture
[Iceberg]03. 테이블 유지보수: Expire, Compaction, Optimize, Orphan
2026-10-24

Concept

#iceberg #opentableformat
[Trino]Trino 쿼리 실행 원리: MPP 엔진을 "왜"부터 이해하기
2026-10-24

Concept

#trino #mpp #query_engine
[SQL]분산 조인: Broadcast vs Shuffle
2026-10-24

Concept

#sql #spark #query_optimization
[SQL]Join 알고리즘: Nested Loop vs Hash vs Sort Merge
2026-10-24

Concept

#sql #postgresql #query_optimization
[SQL]Semi Join과 Anti Join
2026-10-24

Concept

#sql #postgresql #query_optimization
[Iceberg]동시쓰기와 커밋 충돌
2026-08-09

여러 작업(writer)이 하나의 Iceberg 테이블에 동시에 쓸 때 발생하는 커밋 충돌 CommitFailedException을 다룬다. 목적은 두 가지다.

#iceberg #opentableformat #concurrency #airflow
[Iceberg]Open Table format 개요
2026-08-02

메타데이터 조작 방식은 필연적으로 덤프파일 생성 및 파티션 단편화라는 관리 비용을 발생시킴.

#iceberg #opentableformat
[DE Design Pattern]09-01 Audit-Write-Audit-Publish
2026-04-03

이 코드에서 첫 번째 함수는 파일 크기, 라인 수, JSON 유효성 같은 메타데이터 수준 검증을 수행하고, 두 번째 함수는 pandas로 실제 데이터를 읽어 필수 컬럼의 NULL 여부를 검증

#design_pattern #data_storage
[DE Design Pattern]09-02 Constraint Enforcer
2026-04-03

Type Constraint — 특정 컬럼의 모든 값이 항상 같은 타입임을 보장.

#design_pattern #data_quality
[DE Design Pattern]09-03 Schema Coompatibility Enforcer
2026-04-03

1) External Service/Library 모드 — Schema Registry 같은 외부 서비스가 스키마를 버전 관리하고, producer가 데이터를 쓰기 전에 스키마를 검증한다. 호환성 규칙을 명시적으로 설정

#design_pattern #data_quality
[DE Design Pattern]08-03. Bucket
2026-03-27

Bucket 패턴은 고카디널리티(high-cardinality) 컬럼에 대해 데이터 접근을 최적화하는 패턴.

#design_pattern #data_storage #partitioning
[DE Design Pattern]08-04. Sorter
2026-03-27

데이터를 특정 컬럼 기준으로 정렬하여 저장함으로써, 쿼리 시 불필요한 데이터 블록을 건너뛸 수 있게 하는 패턴

#design_pattern #data_storage
[DE Design Pattern]08-05. Metadata Enhancer
2026-03-27

Metadata Enhancer는 데이터 파일에 통계 정보(min, max, null count 등)를 메타데이터로 저장하여, 쿼리 시 데이터를 읽기 전에 불필요한 파일/블록을 스킵하는 패턴

#design_pattern #data_storage
[DE Design Pattern]08-06. Dataset Materializer
2026-03-27

비싼 쿼리의 결과를 물리적으로 저장해두고, 이후 소비자는 저장된 결과만 읽게 하는 패턴

#design_pattern #data_storage
1
234567
© 2026 Datamind. All Rights Reserved. / RSS / Sitemap
Powered by Astro & Fuwari
© 2026 Datamind. All Rights Reserved. / RSS / Sitemap
Powered by Astro & Fuwari