[DE Design Pattern]04-3. 증분데이터의 멱등성 보장
불변 키 필수 — 데이터 프로바이더가 row를 고유하게 식별할 수 있는 불변 속성을 제공해야함. I/O 비용 — Fast Metadata Cleaner와 달리 데이터 블록 수준에서 동작. 현대 DB와 OTF는 데이터를 활용해 관련 파일만 스캔하도록 최적화가능
2403 words
|
12 minutes
[DE Design Pattern]04-2. DB수준에서의 멱등성 보장
키 기반 저장소뿐 아니라 파일이나 파티션 이름에도 같은 원칙이 적용됩니다.
2755 words
|
14 minutes
[kafka]15. Streams
Key Takeaway
3502 words
|
18 minutes
[kafka]14. 모니터링
간단한 상태검사를 통해 어플리케이션이 살아있는지 여부 확인
1112 words
|
6 minutes
[kafka]11. pipeline
다음 주제에 대해 다룬다.
2132 words
|
11 minutes
[ML]LLM 구축의 절차
ChatGPT, Claude, DeekSeek 과 같은 LLM 에 대한 대중적인 관심이 높아지면서 일상적으로 LLM을 쓰는 사람도 예전보다 훨씬 늘어났고 그에 따라 어떻게 활용하면 좋을지에 대한 고민도 많아진 것 같습니다. 개인적으로는 LLM이 기본적으로 어떤 방식으로 구축되는지에 대한 이해가 있어야 LLM의 기본적인 매커니즘과 그 한계를 알고 LLM을 더 나은 방식으로 보다 더 적합한 분야에 적용할 수 있을 것이라고 생각합니다. 여기서는 LLM을 구축할때 거치는 단계에 대해 간략하게 정리해보았습니다.
1715 words
|
9 minutes
[kafka]12. 클러스터간 미러링
여러 클러스터가 필요한 주요 시나리오:
725 words
|
4 minutes