“丝路通:Flink实时统计引擎-创建MYSQL存储表”的版本间的差异
来自CloudWiki
小 （Cloud17移动页面丝路通:Flink点击流和销售额计算-创建MYSQL存储表至丝路通:Flink实时统计引擎-创建MYSQL存储表） |
Xiaolongyang（讨论 | 贡献） （→创建mysql数据表） |
||
| （未显示1个用户的4个中间版本） | |||
| 第1行： | 第1行： | ||
| − | == | + | ==Flink功能设计== |
实时市场行情 -实时统计引擎（flink流处理引擎） | 实时市场行情 -实时统计引擎（flink流处理引擎） | ||
| 第6行： | 第6行： | ||
网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分 | 网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分 | ||
| − | === 统计对象= | + | === 统计对象=== |
产地分布，价格统计，价格变化，网站分布 | 产地分布，价格统计，价格变化，网站分布 | ||
| 第13行： | 第13行： | ||
*单个品类整体的平均价格 /商品总数 | *单个品类整体的平均价格 /商品总数 | ||
| + | |||
*单个品类按网站归类的平均价格 /商品总数 | *单个品类按网站归类的平均价格 /商品总数 | ||
| + | |||
*单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图 | *单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图 | ||
| + | |||
*单个品类 按产地归类的商品总数 | *单个品类 按产地归类的商品总数 | ||
| + | |||
*单个品类 按厂家归类的商品总数（？） | *单个品类 按厂家归类的商品总数（？） | ||
| + | |||
*单个品类 按厂家归类的商品评分 （和上一个值综合） | *单个品类 按厂家归类的商品评分 （和上一个值综合） | ||
| + | =项目开发一= | ||
| + | a)设计与创建mysql结果存储表 | ||
| + | |||
| + | b)编程读取kafka缓存数据 | ||
| + | |||
| + | c)每日'''平均价格'''||每日'''商品总数'''实时统计 | ||
| + | |||
| + | d)在IDEA中运行程序 | ||
| + | |||
| + | ==创建mysql数据表== | ||
| + | 我们会将处理后的数据存入mysql数据表中,所以现在进入Linux系统中 | ||
| + | |||
| + | (1)查看mysql是否是启动状态 | ||
| + | |||
| + | <nowiki>#service mysqld status</nowiki> | ||
| + | |||
| + | <nowiki>mysqld (pid 1409) is running.</nowiki> | ||
| + | |||
| + | (2)输入以下代码进入mysql中（密码：root) | ||
| + | |||
| + | <nowiki>mysql -uroot -proot</nowiki> | ||
| + | |||
| + | create database silk_shop; //创建数据存放库 | ||
| + | use silk_shop; //进入数据库 | ||
| + | create table price(datetime varchar(20) ,price double);//创建价格表 | ||
| + | create table total_volume(datetime varchar(20),total_volume double);//创建商品总数表 | ||
| + | show tables; //查看表 | ||
| + | </nowiki> | ||
| + | |||
| + | 网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分 | ||
| + | |||
| + | //网站名，商品量 | ||
2020年11月9日 (一) 11:38的最新版本
Flink功能设计
实时市场行情 -实时统计引擎（flink流处理引擎）
实时采购热榜 （flink流处理引擎）
对应字段
网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分
统计对象
产地分布，价格统计，价格变化，网站分布
主要功能
- 单个品类整体的平均价格 /商品总数
- 单个品类按网站归类的平均价格 /商品总数
- 单个品类的按时间 归类的平均价格（总价格/总商品数） ->趋势图
- 单个品类 按产地归类的商品总数
- 单个品类 按厂家归类的商品总数（？）
- 单个品类 按厂家归类的商品评分 （和上一个值综合）
项目开发一
a)设计与创建mysql结果存储表
b)编程读取kafka缓存数据
c)每日平均价格||每日商品总数实时统计
d)在IDEA中运行程序
创建mysql数据表
我们会将处理后的数据存入mysql数据表中,所以现在进入Linux系统中
(1)查看mysql是否是启动状态
#service mysqld status
mysqld (pid 1409) is running.
(2)输入以下代码进入mysql中（密码：root)
mysql -uroot -proot
create database silk_shop; //创建数据存放库 use silk_shop; //进入数据库 create table price(datetime varchar(20) ,price double);//创建价格表 create table total_volume(datetime varchar(20),total_volume double);//创建商品总数表 show tables; //查看表
</nowiki>
网站名，页数，商品名，价格，产地，公司名，爬取时间，一级目录，二级目录，三级目录，评分
//网站名，商品量
