丝路通:Kafka单机版安装
Kafka单机版：https://www.jianshu.com/p/0aebb2303d6e
https://blog.csdn.net/HJFQC/article/details/80844828
目录
zookeeper 安装
下载
http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/
安装
// 解压
tar -xzvf zookeeper-3.4.14.tar.gz
cd zookeeper-3.4.14/conf/
// 配置文件
cp zoo_sample.cfg zoo.cfg
// 将zookeeper添加到环境变量
vim /etc/profile
//末尾添加一行 export ZOOKEEPER_HOME=/opt/zookeeper-3.4.14 export PATH=$PATH:$ZOOKEEPER_HOME/bin
修改完环境变量后使之生效，source /etc/profile
启动
//启动zookeeper
zkServer.sh start
//查看zookeeper状态：
zkServer.sh status
//停止zookeeper
zkServer.sh stop
kafka安装
下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz
安装
// 解压
tar -xvf kafka_2.11-2.3.1.tgz
// 修改kafka设置
cd kafka_kafka_2.11-2.3.1/config/
vim server.properties
log.dirs=/usr/local/kafka //这个修改的是kafka消息持久化时的保存路径。 advertised.listeners=PLAINTEXT://10.0.0.30:9092 //修改的kafka的ip:端口
//设置环境变量 vim /etc/profile
//末尾添加一行 export KAFKA_HOME=/opt/kafka_2.11-2.3.1 export export PATH=$PATH:$KAFKA_HOME/bin
修改完环境变量后使之生效，source /etc/profile
脚本
kafka启动脚本
#!/bin/sh #启动zookeeper zkServer.sh start #等3秒后执行 sleep 5 #启动kafka /opt/kafka_2.11-2.3.1/bin/kafka-server-start.sh /opt/kafka_2.11-2.3.1/config/server.properties &
kafka关闭脚本
#!/bin/sh #关闭kafka /opt/kafka_2.11-2.3.1/bin/kafka-server-stop.sh #等5秒后执行 sleep 5 #关闭zookeeper zkServer.sh stop
kafka测试验证
進入kafka根目錄
[root@localhost opt]# cd /opt/kafka_2.11-2.3.1/
创建topic
在某臺機器創建topic，名稱為test
[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh -create --zookeeper 10.0.0.30:2181 -replication-factor 1 --partitions 1 --topic test
Created topic test.
命令解析：
--create： #指定创建topic动作
--topic： #指定新建topic的名称
--zookeeper： #指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样
--partitions 3 #指定当前创建的kafka分区数量，默认为1个
--replication-factor 3 #指定每个分区的副本集数量，不能大于 broker 节点数量，多了也没用，1个节点放>=2个副本挂了都完蛋。
查看topic
查看topic，确认topic创建成功 [root@localhost kafka_2.11-2.3.1]# bin/kafka-topics.sh --list --zookeeper 10.0.0.30:2181 __consumer_offsets test
查看topic，详细信息
[root@localhost kafka_2.11-2.3.1]# bin/kafka-topics.sh --describe --zookeeper 10.0.0.30:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
创建生产者
[root@localhost kafka_2.11-2.3.1]# bin/kafka-console-producer.sh --broker-list 10.0.0.30:9092 --topic test >
创建消费者
[root@slave1 kafka_2.11-2.3.1]# bin/kafka-console-consumer.sh --bootstrap-server 10.0.0.30:9092 --topic test --from-beginning
由生产者向消费者发信息
生产者：
[root@master kafka_2.11-2.3.1]# bin/kafka-console-producer.sh --broker-list 10.0.0.30:9092 --topic test
>hello 01012 >20200725
消费者：
[root@slave2 kafka_2.11-2.3.1]# bin/kafka-console-consumer.sh --bootstrap-server 10.0.0.30:9092 --topic test --from-beginning
hello 01012 20200725
