Python爬虫入门进阶

课程源码

本课程所用到的代码均可在小歪老师的GitHub上查阅或下载，地址如下：

https://github.com/zhangslob

第一章 : Python爬虫入门

• 什么是爬虫
• 初识Python爬虫
• 使用Requests爬取豆瓣短评
• 使用Xpath解析豆瓣短评
• 使用pandas保存豆瓣短评数据

• Pandas.read_html() 获取静态网页表格数据
• 浏览器抓包及headers设置（案例一：爬取知乎）
• Centos7 安装python3、数据入库之MongoDB（案例二：爬取拉勾）
• [一行代码下载全学科的北大核心期刊投稿方式]

Selenium爬取网站

• Selenium简介及安装
• Python爬虫：Selenium基本用法
• Python爬虫：Selenium获取页面基础属性
• Python爬虫：Selenium定位页面元素
• Python爬虫：Selenium获取页面元素属性
• Python爬虫案例：用selenium爬取豆瓣电影

• 2万字带你了解Selenium全攻略！

• Python + flask+ selenium 自动化测试用例管理、执行平台
• 使用自动化神器Selenium爬取动态网页（案例三：爬取淘宝商品）
• Python爬虫案例：使用Selenium爬取百度前10页新闻
• Python爬虫案例：使用Selenium爬取一带一路网新闻

• Python爬虫案例：使用Selenium+gne爬取新闻网页
• Python爬虫案例：使用Requests爬取豆瓣电影榜单
• Python爬虫案例：使用Selenium爬取阿里巴巴国际站
• Python爬虫案例：使用Selenium爬取中国制造网
• Python爬虫案例：使用Selenium爬取敦煌网

• Python模拟上传表单

第二章 : Python爬虫之Scrapy框架

• 爬虫工程化及Scrapy框架初窥

• Scrapy安装及基本使用

• Scrapy选择器的用法

• Scrapy的项目管道

• Scrapy的中间件

• Scrapy的Request和Response详解

第三章 : Python爬虫进阶操作

• 网络进阶之谷歌浏览器抓包分析
• 数据入库之去重与数据库

第四章：分布式爬虫及实训项目

• 大数据并发采集--分布式爬虫
• 实训项目--58同城实训项目抓取
• 实训项目--去哪儿网模拟登陆
• 实训项目--京东商品数据爬取

数据清洗

• 利用Pandas清洗csv数据

其他

• Python requests库的使用
• Python beautifulsoup4库的使用
• Python beautifulsoup4库 解析阿里巴巴分类网址
• Python爬虫案例精选

数据分析

豆瓣电影pandas：

https://blog.csdn.net/onemorepoint/article/details/86158292

https://blog.csdn.net/qq_42418845/article/details/103388145

https://www.cnblogs.com/onemorepoint/p/9442907.html

https://www.freesion.com/article/6513413209/

https://www.freesion.com/article/2779583953/

https://www.freesion.com/article/46941254374/

https://www.freesion.com/article/4184269373/