“Hadoop大数据平台”的版本间的差异
来自CloudWiki
（→项目3 就业岗位数据采集和存储） |
|||
| （未显示同一用户的9个中间版本） | |||
| 第1行： | 第1行： | ||
| − | + | ==项目1 大数据系统分析== | |
| − | == | + | ===任务1.1 设计学情分析系统=== |
*[[大数据背景知识]] | *[[大数据背景知识]] | ||
*[[大数据处理流程]] | *[[大数据处理流程]] | ||
| 第6行： | 第6行： | ||
*[[大数据案例构思]] | *[[大数据案例构思]] | ||
*[[大数据系统整体架构]] | *[[大数据系统整体架构]] | ||
| + | |||
| + | ===任务1.2 构建学情分析系统开发环境=== | ||
| + | *[[大数据开发环境安装]] | ||
| + | ==项目2 Hadoop大数据平台的构建== | ||
===任务2.1 搭建Ambari Hadoop系统=== | ===任务2.1 搭建Ambari Hadoop系统=== | ||
*[[搭建ambari管理平台]] | *[[搭建ambari管理平台]] | ||
| 第17行： | 第21行： | ||
*[[hadoop配置管理]] | *[[hadoop配置管理]] | ||
*[[HDFS的管理]] | *[[HDFS的管理]] | ||
| + | |||
| + | ==项目3 就业岗位数据采集和存储== | ||
| + | ===任务3.1 使用网络爬虫采集岗位招聘数据=== | ||
*[[WebMagic介绍]] | *[[WebMagic介绍]] | ||
| + | *[[解析岗位列表页源代码]] | ||
| + | *[[解析岗位信息页源代码]] | ||
| + | *[[根据条件保存抓取到的信息]] | ||
| + | *[[运行代码程序]] | ||
| + | |||
| + | ===任务3.2 采集的数据上传到HDFS=== | ||
| + | |||
| + | ===任务3.3 使用Sqoop转换Mysql中的学生成绩数据到Hive中=== | ||
| + | |||
| + | |||
*[[MapReduce简介]] | *[[MapReduce简介]] | ||
*[[聚类分析]] | *[[聚类分析]] | ||
| + | |||
| + | |||
| + | 返回 [[首页]] | ||
2018年7月30日 (一) 10:56的最新版本
目录
项目1 大数据系统分析
任务1.1 设计学情分析系统
任务1.2 构建学情分析系统开发环境
项目2 Hadoop大数据平台的构建
任务2.1 搭建Ambari Hadoop系统
任务2.2 使用Apache Ambari管理Hadoop集群
项目3 就业岗位数据采集和存储
任务3.1 使用网络爬虫采集岗位招聘数据
任务3.2 采集的数据上传到HDFS
任务3.3 使用Sqoop转换Mysql中的学生成绩数据到Hive中
返回 首页
