2020红亚杯

大数据平台搭建与运维

• Hadoop 集群部署
• Hadoop 集群环境优化排除错误
• Hadoop 动态添加/删除节点
• Zoopper 集群部署

• 2020红亚杯：1.Hadoop基础环境准备
• 2020红亚杯：2.Hadoop集群部署
• 2020红亚杯：Hadoop增删节点
• 2020红亚杯：Zookeeper集群部署
• 搭建脚本

数据采集

• 按照给出的网站商品爬取
• 对数据保存

hive数据分析

• hive搭建
• 数据分析案例：商品画像
• 数据分析案例：借贷平台

• 决赛内容
• 2020红亚杯：Hive 配置文件
• 2020红亚杯：MySql添加用户、访问权限
• 2020红亚杯：借贷数据分析
• 2020红亚杯：商品数据分析

数据可视化

• 2020红亚杯：商城系统爬虫
• 2020红亚杯：数据的保存
• 2020红亚杯：Echarts实现用户信用可视化
• 2020红亚杯：Echarts实现商品画像可视化
• echarts数据展示
• Matplotlib数据可视化库
• 万字Matplotlib实操总结

完整思路

• Hadoop 搭建
• hive 搭建
• 贷款数据分析
• 商品数据分析
• 节点增加删除