Kafka数据缓存

来自CloudWiki
112.229.119.202讨论2020年7月26日 (日) 06:24的版本
跳转至: 导航搜索

步骤

1.创建Kafka主题

2.创建Kafka消费者

3.通过Flume数据采集到Kafka

操作步骤

启动zookeeper和kafka

master,slave1,slave2

参考:Kafka——集群安裝部署(自带Zookeeper)

创建Kafka主题

master节点:

[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh -create --zookeeper 192.168.128.130:2181 -replication-factor 1 --partitions 1 --topic shop

Created topic shop.

[root@master kafka_2.11-2.3.1]# bin/kafka-topics.sh --list --zookeeper 192.168.128.130:2181

__consumer_offsets
shop
test

创建消费者

slave1 节点:

[root@slave1 ~]# cd /usr/local/kafka_2.11-2.3.1/

[root@slave1 kafka_2.11-2.3.1]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.128.131:9092 --topic shop --from-beginning