[kafka]02. Kafka 설치하기

941 words

5 minutes

[kafka]02. Kafka 설치하기

2024-11-23

Data Engineering

kafka

Introduction#

환경 세팅#

카프카는 윈도우, MacOS, 리눅스 등 다양한 운영체제에서 설치 할 수 있다.

Docker 컨테이너를 활용하여 보다 쉽게 카프카를 설치할 수도 있지만, 이 글에서는 리눅스 환경에 직접 설치하는 방법을 다룬다.

사전에 자바 17버전을 설치했다고 가정하고 진행한다. 카프카와 카프카의 메타데이터를 관리하는 주키퍼를 설치한다.

주키퍼 설치#

일반적으로 /usr/local/ 디렉토리에 카프카를 설치하지만 여기서는 실습의 편의를 위해 ~/.local 디렉토리에 설치한다.

1. 작업 디렉토리 생성

1
# .local 폴더가 없다면 생성
2
mkdir ~/.local

2. 주키퍼 다운로드 및 압축해제

1
# 설치할 zookeeper 버전
2

3
ZOOKEEPER_VERSION=3.6.3
4

5
# zookeeper 다운로드
6

7
wget https://downloads.apache.org/zookeeper/zookeeper-${ZOOKEEPER_VERSION}/apache-zookeeper-${ZOOKEEPER_VERSION}-bin.tar.gz
8

9
tar -xvfz apache-zookeeper-${ZOOKEEPER_VERSION}-bin.tar.gz

3. 주키퍼 디렉토리 이름 변경

1
mv apache-zookeeper-${ZOOKEEPER_VERSION} ~/.local/zookeeper

4. 주키퍼 설정파일 생성

주키퍼 설정 디렉토리로 이동 후 설정파일을 생성

1
ZOOKEEPER_HOME=~/.local/zookeeper
2

3
cd $ZOOKEEPER_HOME/conf
4

5
# sample 설정 파일을 복사
6
cp zoo_sample.cfg zoo.cfg

4. 주키퍼 실행

1
cd $ZOOKEEPER_HOME/bin
2

3
./zkServer.sh start

5. 주키퍼 실행상태 확인

telnet 명령어로 주키퍼 서버 실행 상태를 확인

1
telnet localhost 2181

srvr 명령어로 주키퍼 서버의 상태를 확인

1
# 주키퍼 정상실행시 출력
2

3
Zookeeper version: 3.9.3-c26634f34490bb0ea7a09cc51e05ede3b4e320ee, built on 2024-10-17 23:21 UTC
4
Latency min/avg/max: 0/0.0/0
5
Received: 1
6
Sent: 0
7
Connections: 1
8
Outstanding: 0
9
Zxid: 0x183
10
Mode: standalone
11
Node count: 161
12
Connection closed by foreign host.

이 과정을 간단히 스크립트로 만들면 이렇다.

1
#!/bin/bash
2

3
# Variables
4
ZOOKEEPER_HOST="localhost"
5
ZOOKEEPER_PORT="2181"
6
STATUS_COMMAND="srvr"
7

8
# Check if ZooKeeper is running
9
echo $STATUS_COMMAND | nc $ZOOKEEPER_HOST $ZOOKEEPER_PORT >/dev/null 2>&1
10

11
# Check the response
12
if [ $? -eq 0 ]; then
13
  RESPONSE=$(echo $STATUS_COMMAND | nc $ZOOKEEPER_HOST $ZOOKEEPER_PORT)
14
  echo -e "ZooKeeper is running and responding with \n \"$RESPONSE\" "
15
else
16
  echo -e "ZooKeeper is not running or not reachable on port $ZOOKEEPER_PORT."
17
fi

카프카 브로커 설치#

1. 카프카 다운로드 및 압축 해제

1
cd ~/.local
2

3
# 설치할 카프카 버전
4

5
KAFKA_VERSION=3.8.0
6

7
# 카프카 다운로드
8

9
wget https://downloads.apache.org/kafka/${KAFKA_VERSION}/kafka_2.13-${KAFKA_VERSION}.tgz
10

11
# 압축 해제
12
tar -xvzf kafka_2.13-${KAFKA_VERSION}.tgz

2. 디렉토리 이름 변경

1
mv kafka_2.13-${KAFKA_VERSION}/ kafka

3. Kafka Broker 실행 스크립트 작성

실행을 위한 간단한 스크립트를 작성해서 ~/.local/scripts/ 하위에 둔다.

1
#!/bin/bash
2

3
KAFKA_HOME=/home/$USER/.local/kafka
4
KAFKA_PROPERTIES=$KAFKA_HOME/config/server.properties
5

6
echo "=================================="
7
echo "KAFKA_HOME: $KAFKA_HOME"
8
echo "KAFKA_PROPERTIES: $KAFKA_PROPERTIES"
9
echo "=================================="
10

11
echo "Starting Kafka Broker"
12

13
# Error Handling
14
error_handling() {
15
  echo "=================================="
16
  echo " [ERROR] Kafka Broker failed to start."
17
  echo "=================================="
18
  exit 1
19
}
20

21
# Check Path
22
if [ ! -d "$KAFKA_HOME" ]; then
23
  echo "=================================="
24
  echo " [ERROR] Kafka Home directory not found: $KAFKA_HOME"
25
  echo "=================================="
26
  error_handling
27
fi
28

29
if [ ! -f "$KAFKA_PROPERTIES" ]; then
30
  echo "=================================="
31
  echo " [ERROR] Kafka Properties file not found: $KAFKA_PROPERTIES"
32
  echo "=================================="
33
  error_handling
34
fi
35

36
echo "Kafka Home: $KAFKA_HOME"
37
echo "Kafka Properties: $KAFKA_PROPERTIES"
38

39
# Kafka Broker 시작
40
$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_PROPERTIES
41

42
# Kafka 시작 상태 확인
43
if [ $? -ne 0 ]; then
44
  error_handling
45
fi
46

47
echo "Kafka Broker Started successfully"

4. 실행 권한 부여 및 실행

1
chmod +x ~/.local/scripts/start_kafka_broker.sh
2

3
./.local/scripts/start_kafka_broker.sh

몇가지 체크용 스크립트#

주키퍼와 카프카 브로커가 정상적으로 실행되었는지 확인하기 위한 간단한 스크립트를 작성한다. 핸들링해야 할 브로커의 수가 많아질 경우 스크립트 보다는 UI 기반의 툴을 사용하는 좋다.

TOPIC 생성#

1
#!/bin/bash
2

3
KAFAKA_HOME=/home/$USER/.local/kafka
4
KAFAKA_PROPERTIES=$KAFAKA_HOME/config/server.properties
5

6
# 첫 번째 인자를 변수에 저장
7
TOPIC_NAME=$1
8

9
echo "The first argument is: $TOPIC_NAME"
10
echo "Creating Kafka Topic"
11
echo "Kafka Home: $KAFAKA_HOME"
12
echo "Kafka Properties: $KAFAKA_PROPERTIES"
13

14
cd $KAFAKA_HOME
15

16
bin/kafka-topics.sh --bootstrap-server localhost:9092 \
17
  --create --topic $TOPIC_NAME \
18
  --partitions 1 \
19
  --replication-factor 1
20

21
echo "Kafka Topic $TOPIC_NAME created successfully"

TOPIC에 데이터 쓰기#

1
#!/bin/bash
2

3
KAFAKA_HOME=/home/$USER/.local/kafka
4
KAFAKA_PROPERTIES=$KAFAKA_HOME/config/server.properties
5

6
TOPIC_NAME=$1
7

8
echo "write kafka topic"
9
echo "Kafka Home: $KAFAKA_HOME"
10
echo "Kafka Properties: $KAFAKA_PROPERTIES"
11

12
cd $KAFAKA_HOME
13

14
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 \
15
  localhost:9092 --topic $TOPIC_NAME

TOPIC 상세정보 확인#

1
#!/bin/bash
2

3
KAFAKA_HOME=/home/$USER/.local/kafka
4
KAFAKA_PROPERTIES=$KAFAKA_HOME/config/server.properties
5

6
# Define the first argument as a variable
7
TOPIC_NAME=$1
8
cd $KAFAKA_HOME
9

10
echo "Describing Kafka Topic"
11

12
// Topic 정보 확인
13
bin/kafka-topics.sh --describe \
14
  --bootstrap-server localhost:9092 \
15
  --topic $TOPIC_NAME

TOPIC List 확인#

1
#!/bin/bash
2

3
KAFAKA_HOME=/home/$USER/.local/kafka
4
KAFAKA_PROPERTIES=$KAFAKA_HOME/config/server.properties
5
TOPIC_NAME=$1
6

7
echo "Reading Kafka Topic"
8
echo "Kafka Home: $KAFAKA_HOME"
9
echo "Kafka Properties: $KAFAKA_PROPERTIES"
10

11
cd $KAFAKA_HOME
12

13
bin/kafka-topics.sh --list \
14
 --bootstrap-server localhost:9092