Kafka集群搭建

# 1 解压安装包

提示

1.运行kafka之前需先启动zookeeper服务

2.apache-zookeeper-3.5.9-bin.tar.gz 安装包已先上传到 / 根目录上。

可通过以下方式获取安装包：
wget https://mirror.bit.edu.cn/apache/kafka/2.8.1/kafka_2.13-2.8.1.tgz

1
2

# 解压
tar -zxvf kafka_2.13-2.8.1.tgz -C /louis
# 重命名
mv kafka_2.13-2.8.1 kafka_2.8.1

1
2
3
4

# 2 修改配置文件

修改配置文件config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9092 
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs
#kafka连接zookeeper的地址
zookeeper.connect=172.16.227.132:2181

1
2
3
4
5
6
7
8

# 3 启动服务

# 启动kafka单节点
bin/kafka‐server‐start.sh config/server.properties &

1
2

# 启动zookeeper客户端查看是否有kafka节点
/louis/zookeeper-3.5.9/bin/zkCli.sh

1
2

[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /brokers 
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids
[0]

1
2
3
4
5
6

# 停止kafka
bin/kafka-server-stop.sh

1
2

# 4 集群

提示

在一台机器上同时启动三个broker实例。

# 4.1 新建其他两个broker的配置文件

# 直接拷贝第一个broker的配置文件
cd /louis/kafka_2.8.1/config
cp server.properties server-1.properties
cp server.properties server-2.properties

1
2
3
4

# 4.2 修改其他两个broker的配置文件

修改server-1.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9093
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs-1
#kafka连接zookeeper的地址，集群中的zookeeper必须相同
zookeeper.connect=172.16.227.132:2181

1
2
3
4
5
6
7
8

修改server-2.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=2
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9094
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs-2
#kafka连接zookeeper的地址，集群中的zookeeper必须相同
zookeeper.connect=172.16.227.132:2181

1
2
3
4
5
6
7
8

# 4.3 启动集群服务

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

1
2
3

# 启动zookeeper客户端查看是否有kafka节点
/louis/zookeeper-3.5.9/bin/zkCli.sh

1
2

[zk: localhost:2181(CONNECTED) 5] ls /brokers/ids
[0, 1, 2]

1
2

# 5 安装包下载

百度网盘

https://pan.baidu.com/s/1pvGbnkMpdqs3ICMpMsrVow (opens new window)

提取码 : cr1x

上次更新: 2022/06/02, 11:20:10

← Zookeeper安装 Kafka Manager安装→