Scrapy网络爬虫从原理到实践（14个项目实战案例17小时）

《从零开始学习Scrapy网络爬虫》从零开始，逐步介绍了流行的网络爬虫框架Scrapy。即使没有编程基础，也不会有学习的压力，因为我们有针对性地介绍了Python编程技术。此外，《从零开始学习Scrapy网络爬虫》在讲解过程中以案例为导向，通过案例的不断迭代和优化，让读者加深对知识的理解，通过14个项目案例提高学习者解决实际问题的能力。

课程介绍
《从零开始学习Scrapy网络爬虫》共13章。其中，第1章～以Python基础、网络爬虫基础、Scrapy框架和基本爬虫功能为基础。第五章～第十章介绍了如何在MySQL中存储爬虫数据、在Mongodb和Redis数据库中；如何爬取异步AJAX数据；如何使用Selenium和Splash爬取动态网站；如何实现模拟登录功能；如何突破反爬虫技术，如何下载文件和图片。第11~第13章是一篇高级文章，介绍了使用Scrapy-Redis实现分布式爬虫；使用Scrapyd和Docker部署分布式爬虫；使用Gerapy管理分布式爬虫，实现抢票软件的综合项目。

提示：由于目标网站可能会修改或升级反爬虫技术，如果您发现视频中的方法无法成功爬取数据，请根据页面的实际情况修改XPath的路径表达式。视频教程主要提供理论和方法支持。我们还将在第一时间更新源代码。请注意学习材料中更新的源代码。非常感谢。

课程目录：
第1章 Python环境建设

29分钟2节

1-1Anaconda环境建设:14)
安装1-2PyCharm(19:21)
第2章 网络爬虫基础

36分钟4节

2-1网页基础（11:19)
2-2XPath常用路径表达式(18:28)
2-3HTML基础(说明)
2-4XPath带谓语的路径表达式(07:08)
第3章 介绍Scrapy框架

1小时2分钟4节

介绍安装3-1scrapy(12):50)
3-2第一个网络爬虫项目创建(15):29)
3-3第一个网络爬虫-页面分析(11:34)
实现3-4第一个网络爬虫-功能(22:46)
第4章 Scrapy网络爬虫基础

2小时26分钟7节

4-1伪装成浏览器(18):26)
4-2使用css表达式提取数据(17):23)
4-3使用item包装数据(07):43)
4-4使用itemloader填充数据(08:24)
4-5使用pipeline处理数据(15:33)
4-6项目案例-爬链家网二手房信息1(54):40)
4-7项目案例-爬链家二手房信息2(24):16)
第5章 数据库存储

1小时19分钟7节

下载和安装5-1MySQL数据库(08:26)
5-2安装mysqlclient(04):21)
5-3项目案例-在MySQL数据库中保存数据(21):03)
下载和安装5-4MongoDB数据库(07):33)
5-5项目案例-在MongoDB中保存数据(15:36)
下载和安装5-6Redis数据库(09):23)
5-7项目案例-在Redis数据库中保存数据(12):55)
第6章 JavaScrapt和AJAX数据爬

1小时4分钟2节

6-1项目案例-爬QQ音乐列表歌曲(30):24)
6-2项目案例-爬豆瓣电影信息(33):38)
第7章 爬取动态渲染页面

2小时10分钟5节

7-1Selenium环境建设:18)
7-2爬今日头条项目的重要说明(说明)
7-3项目案例-爬上今日头条热点新闻(56):29)
7-4Splash环境建设:19)
7-5项目案例-爬取1号店iphone手机信息(52:39)
第8章 模拟登陆

37分钟1节

8-1项目案例-爬起点中文网某用户的书架信息(37:37)
第9章 突破反爬虫技术

1小时4分钟4节

9-1随机伪装成浏览器(09:57)
9-2伪装成随机浏览器更简单的方法(04:07)
9-3西刺代理获得HTTP代理ip:44)
9-4使用随机代理爬起点中文网热销榜(16):51)
第10章 下载文件和图片

1小时11分钟3节

10-1项目案例-爬seaborn案例源文件(20:15)
10-2项目案例-文件下载功能优化(10:15)
10-3项目案例-爬取摄影网图片(41):20)
第11章 Scrapy-Redis分布式爬虫

27分钟1节

11-1分布式爬虫爬行摄影网图(27:33)
第12章 Scrapyd部署分布式爬虫

1小时32分钟4节

12-1使用scrapyd部署分布式爬虫(34):45)
12-2制作分布式爬虫Docker镜像(21:53)
12-3使用Docker部署和运行分布式爬虫(19:48)
12-4使用Gerapy管理分布式爬虫(16:17)
第13章 综合项目：实现抢票软件

2小时42分钟11节

13-1项目需求（10:09)
13-2爬虫爬网站信息(18:33)
13-3实现站点处理(11):08)
13-4读取用户购票信息(15:41)
13-5显示登录页面(05):48)
13-6查询车票信息(24):33)
13-7获取购票的详细信息(19:34)
13-8选择乘客和席别(17:29)
13-9验证车票和邮件发送功能(08:04)
13-10实现购票功能(20:15)
13-11运行项目（11:10)