查看“采集分析购物平台数据”的源代码
←
采集分析购物平台数据
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
. == 使用 hive 对数据进行操作 == 在 master 上执行: <nowiki>(1)# start-all.sh (启动 hadoop) (2)# zkServer.sh start(各个节点均执行) (3)# start-hbase.sh (直接运行这个命令需要将 HBASE 的 bin 目录也加 </nowiki> 入到/etc/environment 中) (4)# 在 slave1 上输入命令:bin/hive --service metastore 启动 hive server,然后在 master 节点上输入命令:bin/hive 启动 hive 客户端,当所有 进程启动完全后方可执行以下操作。(所有命令需要在 hive 的安装目录下输入) == 建表,加载数据 == 创建hongya数据库,并且查看 <nowiki>create database hongya; show databases; </nowiki> [[文件:Show.png]] 建match_data表 <nowiki>create table match_data( user_id int, age_range int, gender int, merchant_id int, label int, activity_log varchar(1000) ) row format delimited fields terminated by ',';</nowiki> 加载数据 <nowiki> load data local inpath '/opt/soft/train_format2.csv' overwrite into table match_data;</nowiki> [[文件:数据加载完成.png]] select * from match_data limit 100; [[文件:查看前一百行.png]] == 创建中间表 == <nowiki>CREATE TABLE RESULT AS SELECT USER_ID, SPLIT(LOG_SPLIT,':')[0] AS ITEM_ID, SPLIT(LOG_SPLIT,':')[2] AS BRAND_ID, SPLIT(LOG_SPLIT,':')[4] AS ATIION_TYPE FROM (SELECT USER_ID,LOG_SPLIT FROM match_data LATERAL VIEW EXPLODE(SPLIT(ACTIVITY_LOG,'#')) ACTIVITY_LOG AS LOG_SPLIT ) T1;</nowiki> [[文件:中间表.png]] <nowiki>select * from RESULT limit 100;</nowiki> [[文件:查看中间表.png]] == 创建点击量表 == <nowiki> CREATE TABLE CLICK AS SELECT ITEM_ID, COUNT(1) COUNT_1 FROM RESULT WHERE ATIION_TYPE ='0' GROUP BY ITEM_ID ORDER BY COUNT_1 DESC LIMIT 100;</nowiki> [[文件:创建点击量表.png]] <nowiki>select * from click;</nowiki> [[文件:查看点击量表.png]] ==创建add_to_cart表 == 创建表 ADD_TO_CART,代表加入购物车量 <nowiki>CREATE TABLE ADD_TO_CART AS SELECT ITEM_ID,COUNT(1) COUNT_1 FROM RESULT WHERE ATIION_TYPE = '1' GROUP BY ITEM_ID ORDER BY COUNT_1 DESC LIMIT 100 ;</nowiki> ==创建cololect表 == 创建表 COLLECT,代表收藏量 <nowiki> CREATE TABLE COLLECT AS SELECT ITEM_ID,COUNT(1) COUNT_1 FROM RESULT WHERE ATIION_TYPE ='2' GROUP BY ITEM_ID ORDER BY COUNT_1 LIMIT 100; </nowiki> ==创建emption 表 == <nowiki>CREATE TABLE EMPTION AS SELECT ITEM_ID,COUNT(1) COUNT_1 FROM RESULT WHERE ATIION_TYPE ='3' GROUP BY ITEM_ID ORDER BY COUNT_1 LIMIT 100;</nowiki> == 创建 click_emp,写入商品点击购买转化率 == <nowiki>CREATE TABLE CLICK_EMP AS SELECT ITEM_ID,SUM(IF(ATIION_TYPE='0' ,1,0))/COUNT(1) CLICK_EMP_RATE FROM RESULT T1 GROUP BY ITEM_ID ORDER BY CLICK_EMP_RATE DESC;</nowiki> == 创建ADD_EMP == <nowiki>CREATE TABLE ADD_EMP AS SELECT ITEM_ID,SUM(IF(ATIION_TYPE = '1',1,0))/COUNT(1) CLICK_EMP_RATE FROM RESULT T1 GROUP BY ITEM_ID ORDER BY CLICK_EMP_RATE DESC;</nowiki> == 创建表 collect_emp == CREATE TABLE COLLECT_EMP AS SELECT ITEM_ID,SUM(IF(ATIION_TYPE = '1',1,0))/COUNT(1) CLICK_EMP_RATE FROM RESULT T1 GROUP BY ITEM_ID ORDER BY CLICK_EMP_RATE DESC;
返回至
采集分析购物平台数据
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息