Hadoop大数据平台

项目1 大数据系统分析

任务1.1 设计学情分析系统

• 大数据背景知识
• 大数据处理流程
• 大数据分析工具
• 大数据案例构思
• 大数据系统整体架构

任务1.2 构建学情分析系统开发环境

• 大数据开发环境安装

项目2 Hadoop大数据平台的构建

任务2.1 搭建Ambari Hadoop系统

• 搭建ambari管理平台
• 配置ambari server
• 配置ambari agent
• 部署管理hadoop集群

任务2.2 使用Apache Ambari管理Hadoop集群

• hadoop服务管理
• hadoop主机管理
• hadoop进程管理
• hadoop配置管理
• HDFS的管理

项目3 就业岗位数据采集和存储

任务3.1 使用网络爬虫采集岗位招聘数据

• WebMagic介绍
• 解析岗位列表页源代码
• 解析岗位信息页源代码
• 根据条件保存抓取到的信息
• 运行代码程序

任务3.3 使用Sqoop转换Mysql中的学生成绩数据到Hive中

• MapReduce简介
• 聚类分析

返回 首页