“2020红亚杯”的版本间的差异

2020年11月23日 (一) 10:11的版本

大数据平台搭建与运维

• Hadoop 集群部署
• Hadoop 集群环境优化排除错误
• Hadoop 动态添加/删除节点
• Zoopper 集群部署

数据采集

• 按照给出的网站商品爬取
• 对数据保存

hive数据分析

• hive搭建
• 数据分析案例：商品画像
• 数据分析案例：借贷平台

数据可视化

• echarts数据展示
• Matplotlib数据可视化库
• 万字Matplotlib实操总结

完整思路

• Hadoop 搭建
• hive 搭建
• 数据爬取并保存为csv格式
• 把数据上传到指定文件地址
• 贷款数据分析
• 贷款数据可视化
• 商品数据分析
• 商品数据可视化
• 节点增加删除