聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎

第1章 课程介绍

视频：

链接: https://pan.baidu.com/s/1e5HTksVEqw_UvzRmGKobCQ 提取码: 2431 

笔记：

• Python分布式爬虫打造搜索引擎简介

第2章 windows下搭建开发环境

视频：

链接: https://pan.baidu.com/s/13bXcRPxArUnsNvYzqFz9aA 提取码: 4wja

笔记：

• Pycharm的安装和简单使用
• mysql和navicat的安装和使用
• 。。。

第3章 爬虫基础知识回顾

视频：

链接: https://pan.baidu.com/s/1w7kS1UKP2E0Lz589BekQOA 提取码: 7tse 

笔记：

• 技术选型：爬虫能做什么
• Python正则表达式1
• Python正则表达式2
• Python正则表达式3
• 深度优先和广度优先原理
• url去重方法
• 彻底搞清楚unicode和utf-8编码

第4章 scrapy爬取知名技术文章网站

视频：

链接: https://pan.baidu.com/s/1iNtrSl1DcsDwaid8TzJVjw 提取码: ev54 
 

笔记：

• 4-1 scrapy安装以及目录结构介绍 (22:33)
• 4-2 pycharm 调试scrapy 执行流程 (12:35)
• 4-3 xpath的用法 - 1 (22:17)
• 4-4 xpath的用法 - 2 (19:00)
• 4-5 xpath的用法 - 3 (21:22)
• 4-6 css选择器实现字段解析 - 1 (17:21)

第5章 scrapy爬取知名问答网站

视频：

5.1~5.21：

链接：https://pan.baidu.com/s/14D8S4u-dvqB5lkVoHGp11g 提取码：cspd 

第6章 通过CrawlSpider对招聘网站进行整站爬取

视频：

链接：https://pan.baidu.com/s/1cVb1en72BF0vPsRLDeXcUQ 提取码：xnva

第7章 Scrapy突破反爬虫的限制

7.1-7.8：

链接：https://pan.baidu.com/s/1ViolYEluiGpuPyYjFlzbcQ 提取码：cwsi