“Kafka数据缓存”的版本间的差异

2020年7月26日 (日) 06:24的版本

1.创建Kafka主题

2.创建Kafka消费者

3.通过Flume数据采集到Kafka

master,slave1,slave2

master节点：

[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh -create --zookeeper 192.168.128.130:2181 -replication-factor 1 --partitions 1 --topic shop

Created topic shop.

[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh --list --zookeeper 192.168.128.130:2181

__consumer_offsets
shop
test

slave1 节点：

[root@slave1 ~]# cd /usr/local/kafka_2.11-2.3.1/

[root@slave1 kafka_2.11-2.3.1]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.128.131:9092 --topic shop --from-beginning

@@ 第7行： / 第7行： @@
 ==操作步骤==
-===启动zookeeper===
+===启动zookeeper和kafka===
-zookkeeper: slave1,slave2,slave3
-zkServer.sh start
+master,slave1,slave2
+参考：[[Kafka——集群安裝部署(自带Zookeeper)]]
+===创建Kafka主题===
+master节点：
+[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh -create --zookeeper 192.168.128.130:2181 -replication-factor 1 --partitions 1 --topic shop
-zkServer.sh status
+ Created topic shop.
-===启动kafka===
+[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh --list --zookeeper 192.168.128.130:2181
-master,slave1,slave2
+ <nowiki>__consumer_offsets
+shop
+test</nowiki>
-/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ->/tmp/kafkalog &
+===创建消费者===
+slave1 节点：
-在3个节点上查看：
+[root@slave1 ~]# cd /usr/local/kafka_2.11-2.3.1/
-jps
+[root@slave1 kafka_2.11-2.3.1]#  bin/kafka-console-consumer.sh --bootstrap-server 192.168.128.131:9092 --topic shop --from-beginning