카프카는 Pub/Sub 메시징 시스템에서 메시지를 중개하는 일종의 브로커 역할을 한다.

어플리케이션 개발에서 병렬 처리와 동시성은 어플리케이션의 성능을 극대화하고 UX을 개선하는 데 필수적인 고려사항이다. 멀티 코어 프로세서의 효과적인 사용, 대용량 데이터 처리, 비동기 Non Blocking IO를 통한 빠른 응답 등의 요구사항을 만족시키기 위해 병렬 처리 및 동시성은 현대 소프트웨어 개발에서 중요한 요소가 되었다.

데이터 파이프라인 구축시 일단 처음로 고려하는 것은 가져올 데이터가 정의되었다고 했을때 데이터를 어떻게 가져올 것인지에 대한 것이다. 여기서는 데이터 수집 관련 디자인 패턴 및 개념에 대해 다룬다.

WAS의 핵심 컴포넌트들

Concept

related

Concept

하나의 git repository안에 다른 저장소가 포함되는 것