“丝路通:Flink实时统计引擎-创建MYSQL存储表”的版本间的差异
来自CloudWiki
| 第1行： | 第1行： | ||
| − | == | + | ==Flink功能设计== |
实时市场行情 -实时统计引擎（flink流处理引擎） | 实时市场行情 -实时统计引擎（flink流处理引擎） | ||
| 第13行： | 第13行： | ||
*单个品类整体的平均价格 /商品总数 | *单个品类整体的平均价格 /商品总数 | ||
| + | |||
*单个品类按网站归类的平均价格 /商品总数 | *单个品类按网站归类的平均价格 /商品总数 | ||
| + | |||
*单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图 | *单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图 | ||
| + | |||
*单个品类 按产地归类的商品总数 | *单个品类 按产地归类的商品总数 | ||
| + | |||
*单个品类 按厂家归类的商品总数（？） | *单个品类 按厂家归类的商品总数（？） | ||
| + | |||
*单个品类 按厂家归类的商品评分 （和上一个值综合） | *单个品类 按厂家归类的商品评分 （和上一个值综合） | ||
| + | =项目开发一= | ||
| + | a)设计与创建mysql结果存储表 | ||
| + | |||
| + | b)编程读取kafka缓存数据 | ||
| + | |||
| + | c)每日'''平均价格'''||每日'''商品总数'''实时统计 | ||
| + | |||
| + | d)在IDEA中运行程序 | ||
2020年9月12日 (六) 14:41的版本
Flink功能设计
实时市场行情 -实时统计引擎（flink流处理引擎）
实时采购热榜 （flink流处理引擎）
对应字段
网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分
统计对象
产地分布，价格统计，价格变化，网站分布
主要功能
- 单个品类整体的平均价格 /商品总数
- 单个品类按网站归类的平均价格 /商品总数
- 单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图
- 单个品类 按产地归类的商品总数
- 单个品类 按厂家归类的商品总数（？）
- 单个品类 按厂家归类的商品评分 （和上一个值综合）
项目开发一
a)设计与创建mysql结果存储表
b)编程读取kafka缓存数据
c)每日平均价格||每日商品总数实时统计
d)在IDEA中运行程序
