리모트 서버에 있는 k3s 구성 파일을 local kubectl에 등록하는 법

함수형 프로그래밍과 자바에서 코틀린으로의 전환에 평소부터 관심이 있어서 길벗 개발자 리뷰 모집에 신청하게 되었다. 감사하게도 리뷰어로 선정되어 ‘객체에서 함수로’라는 책을 받아 리뷰를 작성하게 되었다. 이 책은 코틀린을 사용한 함수형 프로그래밍에 대한 내용을 담고 있으며, 주로 핸즈 온으로 실습을 통해 함수형 프로그래밍의 개념을 익히는 방식으로 진행된다.

사전에 알면 내용을 이해하는데 도움이 됩니다.

데이터 엔지니어로써 제가 하는 대부분의 작업은 결국 어딘가에서 텍스트 데이터를 받아서 데이터를 처리하고 그 결과를 다시 어딘가로 내보내는 작업으로 단순화 할 수 있습니다. 흔히 ETL(Extract, Transform, Load)라고 불리는 이 작업은 데이터 엔지니어링의 파이프라인 구축의 핵심 컨셉이기도 합니다.

카프카에서 신뢰성을 보장한다는 것은 크게 두 가지로 나뉜다

Big 5의 핵심은 데이터 증가에 따른 성능의 변화 추세를 나타내는 것이다.

신뢰성에 관한 것이라면, 카프카와 함께 통합되는 시스템이 카프카 그 자체만큼 중요하다.

카프카 클러스터에서 장애를 유발하고, 설계 방식에 따른 동작을 관측한다.

클러스터 멤버십을 가진다는 것은 구체적으로는 클러스터에 속한 브로커들의 식별자인 broker id 가 주키퍼와 같은 메타데이터 관리 시스템에 등록 되었다는 것을 의미한다.

Concept

Concept

1. ProducerRecord 객체 생성

카프카는 윈도우, MacOS, 리눅스 등 다양한 운영체제에서 설치 할 수 있다.

Key Takeaway

카프카는 Pub/Sub 메시징 시스템에서 메시지를 중개하는 일종의 브로커 역할을 한다.

어플리케이션 개발에서 병렬 처리와 동시성은 어플리케이션의 성능을 극대화하고 UX을 개선하는 데 필수적인 고려사항이다. 멀티 코어 프로세서의 효과적인 사용, 대용량 데이터 처리, 비동기 Non Blocking IO를 통한 빠른 응답 등의 요구사항을 만족시키기 위해 병렬 처리 및 동시성은 현대 소프트웨어 개발에서 중요한 요소가 되었다.

데이터 파이프라인 구축시 일단 처음로 고려하는 것은 가져올 데이터가 정의되었다고 했을때 데이터를 어떻게 가져올 것인지에 대한 것이다. 여기서는 데이터 수집 관련 디자인 패턴 및 개념에 대해 다룬다.

Concept

WAS의 핵심 컴포넌트들

related