查看“Hadoop大数据平台”的源代码

==项目1 大数据系统分析==
===任务1.1 设计学情分析系统===
*[[大数据背景知识]]
*[[大数据处理流程]]
*[[大数据分析工具]]
*[[大数据案例构思]]
*[[大数据系统整体架构]]

===任务1.2 构建学情分析系统开发环境===
*[[大数据开发环境安装]]
==项目2 Hadoop大数据平台的构建==
===任务2.1 搭建Ambari Hadoop系统===
*[[搭建ambari管理平台]]
*[[配置ambari server]]
*[[配置ambari agent]]
*[[部署管理hadoop集群]]
===任务2.2 使用Apache Ambari管理Hadoop集群===
*[[hadoop服务管理]]
*[[hadoop主机管理]]
*[[hadoop进程管理]]
*[[hadoop配置管理]]
*[[HDFS的管理]]

==项目3 就业岗位数据采集和存储==
===任务3.1 使用网络爬虫采集岗位招聘数据===

*[[WebMagic介绍]]
*[[解析岗位列表页源代码]]
*[[解析岗位信息页源代码]]
*[[根据条件保存抓取到的信息]]
*[[运行代码程序]]

===任务3.2 采集的数据上传到HDFS===

===任务3.3  使用Sqoop转换Mysql中的学生成绩数据到Hive中===


*[[MapReduce简介]]
*[[聚类分析]]


返回 [[首页]]