“丝路通:Flink实时统计引擎-创建MYSQL存储表”的版本间的差异
来自CloudWiki
Xiaolongyang(讨论 | 贡献) (→创建mysql数据表) |
|||
第53行: | 第53行: | ||
网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分 | 网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分 | ||
+ | |||
+ | //网站名,商品量 |
2020年11月9日 (一) 11:38的最新版本
Flink功能设计
实时市场行情 -实时统计引擎(flink流处理引擎)
实时采购热榜 (flink流处理引擎)
对应字段
网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分
统计对象
产地分布,价格统计,价格变化,网站分布
主要功能
- 单个品类整体的平均价格 /商品总数
- 单个品类按网站归类的平均价格 /商品总数
- 单个品类的按时间 归类的平均价格(总价格/总商品数) ->趋势图
- 单个品类 按产地归类的商品总数
- 单个品类 按厂家归类的商品总数(?)
- 单个品类 按厂家归类的商品评分 (和上一个值综合)
项目开发一
a)设计与创建mysql结果存储表
b)编程读取kafka缓存数据
c)每日平均价格||每日商品总数实时统计
d)在IDEA中运行程序
创建mysql数据表
我们会将处理后的数据存入mysql数据表中,所以现在进入Linux系统中
(1)查看mysql是否是启动状态
#service mysqld status
mysqld (pid 1409) is running.
(2)输入以下代码进入mysql中(密码:root)
mysql -uroot -proot
create database silk_shop; //创建数据存放库 use silk_shop; //进入数据库 create table price(datetime varchar(20) ,price double);//创建价格表 create table total_volume(datetime varchar(20),total_volume double);//创建商品总数表 show tables; //查看表
</nowiki>
网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分
//网站名,商品量