[kafka]09. DR Hands-on

507 words

3 minutes

[kafka]09. DR Hands-on

2025-01-05

Data Engineering

kafka

01. 사전 지식#

02. 개요#

카프카 클러스터에서 장애를 유발하고, 설계 방식에 따른 동작을 관측한다.

03. 사전 준비#

Kafka Cluster : 3개의 브로커로 구성된 클러스터. docker 혹은 k8s로 구성
Kafka Client : 1개의 클라이언트로 구성
Kafka Topic : 테스트용 topic이 간단히 생성.
(Optional) : Kafka Admain Client

04. 장애 유발 시나리오#

장애의 구분#

장애는 이 글에서는 크게 두 가지로 구분한다.

동시성 시나리오 : gettting

장에 단계에 따른 구분#

원천 어플리케이션
프로듀서
브로커
컨슈머

장에 유형에 따른 구분#

네트워크 장애
서버 장애
연결 장애

테스트 Tool#

카프카에서 지원하는 trougdor라는 Fault Injection Tool을 사용해 장애 상황을 유도하고 동작을 관측한다.

Trougdor 제공 Fault Injection API#

NetworkPartitionFaultSpec
ProcessStopFaultSpec

테스트 시나리오#

1. replication factor 3, min.insync.replicas 2로 설정한 토픽 에서 발생한 장애 (기본설정)
1. replication factor 3, min.insync.replicas 3로 설정한 토픽 에서 발생한 장애 (정합성 보장 시나리오)
1. replication factor 3, min.insync.replicas 1로 설정한 토픽 에서 발생한 장애 (가용성 보장 시나리오)

90 실습용 docker-compose#

1
# service config
2
services:
3
  kafka-broker-01:
4
    #    image: bitnami/kafka:3.8.1 # get from .env file
5
    build:
6
      context: .
7
      dockerfile: Dockerfile # install vim
8
    privileged: true
9
    cap_add:
10
      - NET_ADMIN
11
    restart: unless-stopped
12
    container_name: kafka-broker-01
13
    hostname: kafka-broker-01
14
    ports:
15
      - "10000:9094" # port binding
16
    environment: # set env
17
      - KAFKA_CFG_BROKER_ID=0
18
      - KAFKA_CFG_NODE_ID=0
19
      - KAFKA_KRAFT_CLUSTER_ID=6bcA_X9JR0eN9YhP3dYKnw
20
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka-broker-01:9093,1@kafka-broker-02:9093,2@kafka-broker-03:9093
21
      - ALLOW_PLAINTEXT_LISTENER=yes
22
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
23
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://:9094
24
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-broker-01:9092,EXTERNAL://127.0.0.1:10000
25
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
26
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
27
      - KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=3
28
      - KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR=2
29
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
30
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
31
    networks:
32
      - data-network
33
    volumes:
34
      - "data-volume-01:/bitnami/kafka"
35

36
  kafka-broker-02:
37
    build:
38
      context: .
39
      dockerfile: Dockerfile
40
    privileged: true
41
    cap_add:
42
      - NET_ADMIN
43
    restart: always
44
    container_name: kafka-broker-02
45
    hostname: kafka-broker-02
46
    ports:
47
      - "10001:9094"
48
    environment:
49
      - KAFKA_CFG_BROKER_ID=1
50
      - KAFKA_CFG_NODE_ID=1
51
      - KAFKA_KRAFT_CLUSTER_ID=6bcA_X9JR0eN9YhP3dYKnw
52
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka-broker-01:9093,1@kafka-broker-02:9093,2@kafka-broker-03:9093
53
      - ALLOW_PLAINTEXT_LISTENER=yes
54
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
55
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://:9094
56
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-broker-02:9092,EXTERNAL://127.0.0.1:10001
57
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
58
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
59
      - KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=3
60
      - KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR=2
61
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
62
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
63
    networks:
64
      - data-network
65
    volumes:
66
      - "data-volume-02:/bitnami/kafka"
67

68
  kafka-broker-03:
69
    build:
70
      context: .
71
      dockerfile: Dockerfile
72
    privileged: true
73
    cap_add:
74
      - NET_ADMIN
75
    restart: always
76
    container_name: kafka-broker-03
77
    hostname: kafka-broker-03
78
    ports:
79
      - "10002:9094"
80
    environment:
81
      - KAFKA_CFG_BROKER_ID=2
82
      - KAFKA_CFG_NODE_ID=2
83
      - KAFKA_KRAFT_CLUSTER_ID=6bcA_X9JR0eN9YhP3dYKnw
84
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka-broker-01:9093,1@kafka-broker-02:9093,2@kafka-broker-03:9093
85
      - ALLOW_PLAINTEXT_LISTENER=yes
86
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
87
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://:9094
88
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-broker-03:9092,EXTERNAL://127.0.0.1:10002
89
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
90
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
91
      - KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=3
92
      - KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR=2
93
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
94
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
95
    networks:
96
      - data-network
97
    volumes:
98
      - "data-volume-03:/bitnami/kafka"