“2020红亚杯”的版本间的差异

2020年11月7日 (六) 10:21的版本

大数据平台搭建与运维

• Hadoop 集群环境优化排除错误
• 动态添加/删除节点
• 大数据生态组件搭建

数据采集

• 按照给出的网站商品爬取
• 对数据保存

数据清洗

• hive搭建
• 数据抽取
• 数据清洗
• 数据转换

数据分析与挖掘

• 数据多维度，多层次分析
• 数据挖掘
• 预测分析
• 算法实现数据分析

数据可视化

• echarts数据展示
• Matplotlib数据可视化库