Kafka的安装与配置

一    jar包方式安装Kafka

jar包下载地址：https://kafka.apache.org/downloads下载

1.配置java环境

1、上传jdk-8u341-linux-x64.tar.gz到服务器并安装：

# tar -zxf jdk-8u341-linux-x64.tar.gz

配置环境变量：

vim /etc/profile

# 生效 

source /etc/profile 

# 验证 

java -version 

2 Zookeeper的安装配置

1、上传zookeeper-3.4.14.tar.gz到服务器

2、解压到/opt： 

tar -zxf zookeeper-3.4.14.tar.gz -C /opt 

cd /opt/zookeeper-3.4.14/conf 

# 复制zoo_sample.cfg命名为zoo.cfg 

cp zoo_sample.cfg zoo.cfg 

# 编辑zoo.cfg文件 

vim zoo.cfg

3、修改Zookeeper保存数据的目录，dataDir：

dataDir=/var/lagou/zookeeper/data

4、编辑/etc/profile：

设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；

ZOOKEEPER_PREFIX指向Zookeeper的解压目录；

将Zookeeper的bin目录添加到PATH中：

5、使配置生效：

source /etc/profile

6、验证：

 3 Kafka的安装与配置

1、上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz -C /opt 

2、配置环境变量并生效：

vim /etc/profile 

3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件：

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址localhost:2181，后面的 kafkaDemo 是Kafka在Zookeeper中的根节点路径：

4、启动Zookeeper： 

zkServer.sh start

5、确认Zookeeper的状态： 

6、启动Kafka：

进入Kafka安装的根目录，执行如下命令：

kafka-server-start.sh ../config/server.properties

 启动成功：

7、查看Zookeeper的节点：

./zkCli.sh  

ls /kafkaDemo

 3.8、此时Kafka是前台模式启动，要停止，使用Ctrl+C。

如果要后台启动，使用命令：

kafka-server-start.sh -daemon ../config/server.properties 

查看kafka进程：

ps -ef | grep kafka

停止后台运行的kafka:

kafka-server-stop.sh

9、 验证kafka是否可以正常使用

kafka-console-producer.sh用于生产消息：

# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

kafka-console-consumer.sh用于消费消息：

# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 

二   Docker安装Kafka

1.docker安装zookeeper

1、拉取zookeeper镜像

# docker pull wurstmeister/zookeeper

2、启动zookeeper

# docker run -d --name zookeeper -p 2181:2181 -e TZ="Asia/Shanghai" --restart always wurstmeister/zookeeper

3、查看zookeeper的启动信息

# docker logs -f zookeeper

2.docker安装kafka

1、拉取镜像

# docker pull wurstmeister/kafka

2、启动kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<这里换成你的zookeeper地址和端口> -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<这里换成你的kafka地址和端口> -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e TZ="Asia/Shanghai" wurstmeister/kafka

启动环境变量参数说明

3、验证kafka是否可以使用

docker exec -it kafka /bin/sh进入路径：/opt/kafka_2.13-2.7.0/bin下运行kafka生产者发送消息./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1发送消息

另打开窗口消费者消费消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning

来源地址：https://blog.csdn.net/xiaozhang_man/article/details/127178554