查看“数据采集与缓存”的源代码
←
数据采集与缓存
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==虚拟机环境== <nowiki>master 192.168.128.130 2G、1核 slave1 192.168.128.131 1.5G 、1核 slave2 192.168.128.132 1.5G 、1核 slave3 192.168.128.133 1.5G 、1核 已配置无密码登录、jdk、时间同步服务 </nowiki> ==集群环境== <nowiki>已安装Hadoop、Flume、Kafka、Flink、MYSQL、Zookeeper Hadoop:ResourceManager(master)、NameNode(master)、SecondaryNameNode(master)、DataNode(slave1-slave3)、NodeManager(slave1-slave3) Flume:master Kafka:broker0(master)、broker1(slave1)、broker2(slave2) Zookeeper:slave1、slave2、slave3 MYSQL:master Flink:JobManager(master)、TaskManager(slave1-slave3) </nowiki> ==开发环境== 本地安装IDEA 本地安装JDK ==模拟数据产生== 通过python实现一个模拟数据产生的脚本 在Linux虚拟机中设置定时任务运行脚本,定时生产数据到文件 * * * * * python /opt/data.py /opt/flinkproject/$(date +"\%Y-\%m-\%d-\%H-\%M-\%S").log 1000
返回至
数据采集与缓存
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息