13小时掌握python爬虫必杀技

从安装Python环境到逐步实现爬虫的初级和高级玩法，打造自己的专属小说，追剧神器！
本课程还将学习以下内容：
1、Python类库常用于爬虫：request、re、pymysql、peewee、beautifulsoup、lxml、urllib、pickle、json、threading、concurrent.futures、selenium、smtplib、fake_useragent等。
2、通过实战，边学边练Python多线程技术，整体处理单线程、多线程和线程池
3、实战模拟登录，解决登录时的验证码。
4、应对网站的反爬虫机制。
5、Scrapy框架加倍开发速度
6、真正使用数据:爬行新闻会自动放入Kindle，解决你每天用电脑和手机看新闻时看不到钛合金眼睛的问题。
7、在微信上实时接收爬虫程序发送的消息，可以第一时间知道自己感兴趣的消息，第一时间了解朋友的动态。
只需要这套20小时以内的课程，就可以在现实生活中应用爬虫技术，学到的不仅仅是爬虫的初级入门知识。
无论是想在kindle看新闻，关注朋友的动态，还是想通过爬虫提高工作效率，这套课程的内容都会为你提供最坚实有力的支持。

课程所需的软件(提供所有安装文件)：
Python 3.8.2
MySQL 5
PyCharm
SQLYog(或者其他可以控制MySQL数据库的客户端程序)

课程目录：
1 0.1 爬虫是什么鬼？它能做什么？.mp4
2 0.2 这门课程将教你如何自己写爬虫程序.mp4
3 1.1 Python语言介绍介绍.mp4
4 1.2 安装Python（Windows）.mp4
5 1.3 IDE安装开发—PyCharm（Windows）.mp4
6 1.4 MySQL安装数据库（Windows）.mp4
7 1.5 SQLYogoggg安装数据库远程控制工具（Windows）.mp4
8 1.6 安装python3（Mac）.mp4
9 1.7 安装Pycharm（Mac）.mp4
10 1.8 安装Mysql（Mac）.mp4
11 1.9 安装Mysql连接工具（Mac）.mp4
12 2.1 我们每天使用的网络是如何工作的？.mp4
13 2.2 IP：网络成员的收货地址.mp4
14 2.3 DNS：管理员网络域名与IP地址映射关系.mp4
15 2.4 路由：网络数据中转站.mp4
16 2.5 协议：网络成员之间的沟通语言.mp4
17 2.6 HTTP协议：浏览器正常显示网页信息是其功劳.mp4
18 2.7 TCP IP协议：HTTP协议的基础.mp4
19 2.8 用Python实现一个简单的Web Server.mp4
20 2.9 Socket编程-服务端用Python实现.mp4
21 2.10 Socket编程-客户端用Python实现.mp4
22 3.1 HTML是什么？.mp4
23 3.2 CSS是什么？.mp4
24 3.3 JavaScript是什么？.mp4
25 3.4-1 手写HTML页面(HTML标签部分).mp4
26 3.4-2 手写HTML页面(CSS美化与JS交互).mp4
27 3.4-3 手写HTML页面(引用CSS文件和JS文件).mp4
28 3.5 浏览器F12查看自己写的HTML.mp4
29 3.6 dom树是什么？.mp4
30 3.7 静态网页和动态网页有什么区别？.mp4
31 3.8 Get请求和Post请求有什么区别？.mp4
32 3.9 同步请求是什么？异步请求是什么？.mp4
33 3.10 如何使用Ajax实现异步请求？.mp4
34 3.11 Http请求中常见的Header内容有哪些？.mp4
35 3.12 json数据格式是什么？.mp4
36 3.13 XPATH是什么？.mp4
37 3.14 CSS选择器是什么？.mp4
38 4.1 request：处理http请求.mp4
39 4.2 re：正则表达式.mp4
40 4.3 pymyql：使用SQL语句操作数据库.mp4
41 4.4 peewee：操作数据库的ORM模式操作数据库.mp4
42 4.5 beautifulsoup（BS4）：HTML分析器.mp4
43 4.6 lxml：HTMLpath分析.mp4
44 4.7 css选择器方法分析HTML.mp4
45 4.8 urllib.parse：URL的分析和包装.mp4
46 4.9 pickle：将python对象写入本地磁盘文件.mp4
47 5.1 需求分析：爬行什么内容，如何设计爬行过程.mp4
48 5.2 数据库设计：设计新闻列表的表结构.mp4
49 5.3 页面分析：css选择器找到数据.mp4
50 5.4 页面分析：F12找到数据接口.mp4
51 5.5 实现编码：分析JSON数据.mp4
52 5.6 实现编码：入库新闻列表：.mp4
53 5.7 实现编码：仓储关键词：仓储关键词.mp4
54 5.8 实现编码：不要重复写入现有数据.mp4
55 5.9 实现编码：增加数据库事务.mp4
56 5.10 结论：爬虫实际上是如此简单.mp4
57 6.01 什么是多线程？.mp4
58 6.02 库库库库库库：启动线程.mp4
59 6.03 线程同步：线程Lock.mp4
60 6.04 线程池是什么？.mp4
61 6.05 concurrent.futures库：操作线程池.mp4
62 6.06 比较单线程、多线程和线程池的执行时间.mp4
63 6.07 需求分析：爬网易新闻详情页内容.mp4
64 6.08 数据库设计：设计新闻细节的表结构.mp4
65 6.09 页面分析：找到css选择器和xpath的数据.mp4
66 6.10-01 获取需要爬行数据的新闻详情列表.mp4
67 6.10-02 分析页面内容，生成相应的ORM对象.mp4
68 6.10-03 编写入库代码(事务、线程池).mp4
69 6.10-04 操作程序并解决遇到的问题.mp4
70 6.11 增加数据是否反复爬取的验证逻辑.mp4
71 7.1 在模拟登录之前，我们必须知道什么是cookie和session.mp4
72 7.2 模拟登录豆瓣网，将成功登录的cookie保存在本地.mp4
73 7.3 阅读本地cookie，以登录状态访问网站.mp4
74 7.4 selenium：Web应用程序通过亲自测试工具.mp4
75 7.5 使用selenium模拟登录豆瓣.mp4
76 7.6-01 滑动验证码-处理过程.mp4
77 7.6-02 滑动验证码-模拟输入用户名和密码.mp4
78 7.6-03 滑动验证码-找到无缺口的原始背景图.mp4
79 7.6-04 滑动验证码-截取并保存图片.mp4
80 7.6-05 滑动验证码-比较图片RGB并找到间隙的移动距离.mp4
81 7.6-06 滑动验证码-滑块拖动逻辑.mp4
82 7.6-07 滑动验证码-操作代码，修改BUG.mp4
83 7.6-08 滑动验证码-增加重试逻辑.mp4
84 8.1 数据清洗和数据分析是什么？.mp4
85 8.2-01 确认要求：新闻细节的清洁范围.mp4
86 8.2-02 实施要求：SQLYog创建与原始表结构相同的新表.mp4
87 8.2-03 编码：创建ORM对象并写入数据.mp4
88 8.2-04 编码:peewee实现三张表的left join查询.mp4
89 8.2-05 清洁编码：数据入库.mp4
90 8.3-01 编码：分析HTML的细节并将其组合成新闻文本.mp4
91 8.3-02 编码：将新闻文本存储到本地TXT文件中.mp4
92 8.4-01 smtplib库：email发送纯文本内容.mp4
93 8.4-02 smtplib库：email发送带附件.mp4
94 8.5 解决163邮箱SMTP554垃圾邮件问题.mp4
95 8.6 向Kindle发送新闻详情txt文件.mp4
96 8.7 实现微信实时接收爬虫通知.mp4
97 9.1 为什么各大网站都设置了反爬虫机制？.mp4
98 9.2 反爬虫机制的一般手段是什么？.mp4
99 9.3 什么是user？-agent.mp4
100 9.4 类库fake_useragent：随机模拟user-agent.mp4
101 10.1 Scrapy是什么？.mp4
102 10.2 创建和运行第一个Scrapy项目.mp4
103 10.3 用Scrapy重新爬网易.mp4
104 10.4 使用item和pipeline实现数据入库.mp4
105 10.5 启动Spider中的异步Request.mp4
106 10.6 通过Alllowdomain过滤域名.mp4
107 11.1 课程总结.mp4
108 11.2 如何将所学知识应用到其他网站？.mp4
109 11.3 爬虫还有哪些高级应用？.mp4
110 05.编码:将接口返回值转换为Json列表.mp4
111 06.编码:分析Json数据，计算平均年化收益率.mp4
112 07.编码:排序输出Top20基金数据.mp4
113 08.编码:以表格形式数据基金数据.mp4
114 01.需求分析.mp4
115 02.判断页面数据的加载方法.mp4
116 03.判断返回值是否可以通过Json类库解析.mp4
117 04.编码:调用接口获取基金数据.mp4
118 04.实现分页爬行逻辑，输出所有课程信息.mp4
119 01.需求分析.mp4
120 02.寻找数据接口.mp4
121 03.调用接口获取课程数据.mp4