大数据分析

• Hadoop平台安装部署

网址收藏

• 大数据网站收藏

网络爬虫入门

• 网络爬虫简介
• 搭建Python平台
• 第1个网络爬虫

获取网页

• Python爬取静态网页
• Python爬取动态网页

解析网页

• Python解析网页

存储数据

存储数据的基础技术：存入txt文件和存入csv文件。存储数据的进阶技术：存入MySQL数据库和存入MongoDB数据库。

提升爬虫速度

• 并发和并行，同步和异步
• 多线程爬虫
• 多进程爬虫
• 多协程爬虫

大数据平台搭建

• 大数据背景知识
• 大数据处理流程
• 大数据分析工具
• 大数据案例构思
• 大数据系统整体架构

任务2.1 搭建Ambari Hadoop系统

• 搭建ambari管理平台
• 配置ambari server
• 配置ambari agent
• 部署管理hadoop集群

任务2.2 使用Apache Ambari管理Hadoop集群

• hadoop服务管理
• hadoop主机管理
• HDFS的管理
• MapReduce简介
• 聚类分析

其他

• 数据获取
• 数据清洗和整理
• 数据计算和表达

参考文档：

[1] https://github.com/Santostang/PythonScraping