大数据分析

• Hadoop平台安装部署

网址收藏

• Python3网络爬虫入门
• Python实战 | 只需 “4步” 入门网络爬虫
• 使用 Python 分析《我不是药神》豆瓣电影短评
• 10分钟大数据Hadoop基础入门
• python 操作mysql数据库
• 使用 Python 分析 14 亿条数据
• Python3.6模拟输入并爬取百度前10页密切相关链接
• 手把手教你使用Python+scrapy爬取山东各城市天气预报

网络爬虫入门

• 网络爬虫简介
• 搭建Python平台
• 第1个网络爬虫

获取网页

• Python爬取静态网页
• Python爬取动态网页

解析网页

• Python解析网页

解析网页的基础技术：re正则表达式、BeautifulSoup和lxml。

解析网页的进阶技术：解决中文乱码。

存储数据

存储数据的基础技术：存入txt文件和存入csv文件。存储数据的进阶技术：存入MySQL数据库和存入MongoDB数据库。

提升爬虫速度

• 并发和并行，同步和异步
• 多线程爬虫
• 多进程爬虫
• 多协程爬虫

其他

• 数据获取
• 数据清洗和整理
• 数据计算和表达

参考文档：

[1] https://github.com/Santostang/PythonScraping