大数据分析

• Hadoop平台安装部署

网络爬虫入门

• 网络爬虫简介
• 搭建Python平台

获取网页

获取网页的基础技术：request、urllib和selenium（模拟浏览器）。获取网页的进阶技术：多进程多线程抓取、登录抓取、突破IP封禁和服务器抓取。

解析网页

解析网页的基础技术：re正则表达式、BeautifulSoup和lxml。

解析网页的进阶技术：解决中文乱码。

存储数据

存储数据的基础技术：存入txt文件和存入csv文件。存储数据的进阶技术：存入MySQL数据库和存入MongoDB数据库。

其他

• 数据获取
• 数据清洗和整理
• 数据计算和表达