全国大数据技能大赛

大数据集群搭建

Hadoop伪分布式搭建

• hadoop伪分布式搭建

Hadoop分布式搭建

• 配置linux网络
• 大数据基本环境配置
• 安装zookeeper
• 安装hadoop
• hbase安装

Spark集群搭建

• Spark运行架构
• Spark的安装和使用

Spark大数据分析

• Spark RDD编程
• Spark 键值对RDD编程
• Spark案例：词频统计
• Spark案例：计算PM2.5

Spark机器学习

• Spark 线性回归之二手房预测
• Spark 决策树之银行贷款预测

HDFS操作

• HDFS基本操作

构建数据仓库

• slave2上安装mysql server
• slave1上安装hive
• Master作为客户端

数据采集

• 采集分析Discuz论坛上的数据

数据分析

• 采集分析购物平台数据