“数据采集与缓存”的版本间的差异
来自CloudWiki
(创建页面,内容为“==虚拟机环境== <nowiki>master 192.168.128.130 2G、1核 slave1 192.168.128.131 1.5G 、1核 slave2 192.168.128.132 1.5G 、1核 slave3 192.168.128.…”) |
|||
第18行: | 第18行: | ||
Flink:JobManager(master)、TaskManager(slave1-slave3) | Flink:JobManager(master)、TaskManager(slave1-slave3) | ||
</nowiki> | </nowiki> | ||
+ | |||
+ | ==开发环境== | ||
+ | 本地安装IDEA | ||
+ | |||
+ | 本地安装JDK | ||
+ | ==模拟数据产生== | ||
+ | 通过python实现一个模拟数据产生的脚本 | ||
+ | |||
+ | 在Linux虚拟机中设置定时任务运行脚本,定时生产数据到文件 | ||
+ | |||
+ | * * * * * python /opt/data.py /opt/flinkproject/$(date +"\%Y-\%m-\%d-\%H-\%M-\%S").log 1000 |
2020年7月21日 (二) 04:44的版本
虚拟机环境
master 192.168.128.130 2G、1核 slave1 192.168.128.131 1.5G 、1核 slave2 192.168.128.132 1.5G 、1核 slave3 192.168.128.133 1.5G 、1核 已配置无密码登录、jdk、时间同步服务
集群环境
已安装Hadoop、Flume、Kafka、Flink、MYSQL、Zookeeper Hadoop:ResourceManager(master)、NameNode(master)、SecondaryNameNode(master)、DataNode(slave1-slave3)、NodeManager(slave1-slave3) Flume:master Kafka:broker0(master)、broker1(slave1)、broker2(slave2) Zookeeper:slave1、slave2、slave3 MYSQL:master Flink:JobManager(master)、TaskManager(slave1-slave3)
开发环境
本地安装IDEA
本地安装JDK
模拟数据产生
通过python实现一个模拟数据产生的脚本
在Linux虚拟机中设置定时任务运行脚本,定时生产数据到文件
- * * * * python /opt/data.py /opt/flinkproject/$(date +"\%Y-\%m-\%d-\%H-\%M-\%S").log 1000