丝路通:Flink实时统计引擎-创建MYSQL存储表

来自CloudWiki
Xiaolongyang讨论 | 贡献2020年11月9日 (一) 11:38的版本 创建mysql数据表
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

Flink功能设计

实时市场行情 -实时统计引擎(flink流处理引擎)

实时采购热榜 (flink流处理引擎)

对应字段

网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分

统计对象

产地分布,价格统计,价格变化,网站分布

主要功能

  • 单个品类整体的平均价格 /商品总数
  • 单个品类按网站归类的平均价格 /商品总数
  • 单个品类的按时间 归类的平均价格(总价格/总商品数) ->趋势图
  • 单个品类 按产地归类的商品总数
  • 单个品类 按厂家归类的商品总数(?)
  • 单个品类 按厂家归类的商品评分 (和上一个值综合)

项目开发一

a)设计与创建mysql结果存储表

b)编程读取kafka缓存数据

c)每日平均价格||每日商品总数实时统计

d)在IDEA中运行程序

创建mysql数据表

我们会将处理后的数据存入mysql数据表中,所以现在进入Linux系统中

(1)查看mysql是否是启动状态

#service mysqld status

mysqld (pid 1409) is running.

(2)输入以下代码进入mysql中(密码:root)

mysql -uroot -proot
create database silk_shop;  //创建数据存放库
use silk_shop; //进入数据库
create table price(datetime varchar(20) ,price double);//创建价格表
create table total_volume(datetime varchar(20),total_volume double);//创建商品总数表
show tables; //查看表

</nowiki>

网站名,页数,商品名,价格,产地,公司名,爬取时间,一级目录,二级目录,三级目录,评分

//网站名,商品量