“Hadoop大数据平台”的版本间的差异
来自CloudWiki
（→项目3 就业岗位数据采集和存储） |
|||
| 第23行： | 第23行： | ||
==项目3 就业岗位数据采集和存储== | ==项目3 就业岗位数据采集和存储== | ||
| + | ===任务3.1 使用网络爬虫采集岗位招聘数据=== | ||
| + | |||
*[[WebMagic介绍]] | *[[WebMagic介绍]] | ||
*[[解析岗位列表页源代码]] | *[[解析岗位列表页源代码]] | ||
| 第28行： | 第30行： | ||
*[[根据条件保存抓取到的信息]] | *[[根据条件保存抓取到的信息]] | ||
*[[运行代码程序]] | *[[运行代码程序]] | ||
| + | |||
| + | ===任务3.2 采集的数据上传到HDFS=== | ||
| + | |||
| + | ===任务3.3 使用Sqoop转换Mysql中的学生成绩数据到Hive中=== | ||
| + | |||
| + | |||
*[[MapReduce简介]] | *[[MapReduce简介]] | ||
*[[聚类分析]] | *[[聚类分析]] | ||
| + | |||
返回 [[首页]] | 返回 [[首页]] | ||
2018年7月30日 (一) 10:56的最新版本
目录
项目1 大数据系统分析
任务1.1 设计学情分析系统
任务1.2 构建学情分析系统开发环境
项目2 Hadoop大数据平台的构建
任务2.1 搭建Ambari Hadoop系统
任务2.2 使用Apache Ambari管理Hadoop集群
项目3 就业岗位数据采集和存储
任务3.1 使用网络爬虫采集岗位招聘数据
任务3.2 采集的数据上传到HDFS
任务3.3 使用Sqoop转换Mysql中的学生成绩数据到Hive中
返回 首页
