Python爬虫零基础到进阶

课程介绍总结

学—练—问

跟着学、多做多练、不懂就问、坚持就是胜利！

作业

飞书布置，作业提交放到群里，老师批改。

代码量

python基础：

1. 十一次课，学会python。
2. 环境安装（了解虚拟环境、文本和集成工具类）、数据类型、字符串介绍。
3. 每天能写两百行代码量，解决实际问题的python程序。
4. 导师具备Python Web开发、Python外包、副业接单的经验。

爬虫基础：

1. 什么是爬虫，怎么样去写爬虫，爬虫由什么组成的。
2. 比如说爬虫要请求URL，解析数据，数据要往数据库里存。第三方库的使用，例如pycharm、Re、MYSQL、MongoDB,大量读取数据，往数据库写又来不及啦，往缓存里写就要用到redis，消息中间件kafka。
3. 大量IP的使用、简单抓包、简单网页端的入门JS。
4. 每天能写两百行代码量的完整爬虫程序。
5. 导师，JS逆向造诣高，爬虫接单大佬。
6. 分布式爬虫

每个月写2000-4000行代码，每年写个三四万行代码；真正的程序员在公司一天写1万行代码不是复制粘贴，解决公司问题，程序员加班常态化。
**逆向分析：**爬虫代码量不需要特别多，很难的APP、网页端，代码量也不会很多，难是难在分析阶段，分析那个逆向过程，爬虫90%都是两百行代码能够搞定，分析出来后代码是比较简单的，难在分析阶段，跟那个网络安全一样的，不需要大量的代码。

学好Python基础和爬虫基础，能够完成一些初阶爬虫工作，都能找到几千块钱的爬虫岗位。

爬虫技术进阶课–逆向–题纲

1. 如果先精进JS逆向就学sec4sec7 JS逆向：
   section4：JS逆向进阶，JS内部练习平台的题都全部做完，掌握的话，反混淆X数不成问题。（15节）
   section7：课程答疑视频，内容比较杂。（ 7节）

2. 如果先精进安卓就新-sec2 sec3 sec6 APP逆向抓取：
   新section2-3：安卓APP逆向技能学习（frida技术栈逆向）； 这部分在重新制作，更新加深难度。（36节）
   新-section6：平头哥技术栈，安卓逆向（不需要root手机），可以做到对抗风控，反设备指纹，APP基本都能抓。（28节）

3. 如果找工作面试就sec 1 sec7
   Section1：如何设计爬虫框架（异步爬虫/分布式爬虫），面试时爬虫设计常问的问题在这个阶段。（6节）
   section7：课程答疑视频，内容比较杂。（ 7节）

4. 其他 机器验证码识别：
   新-section5：爬虫接单与聚合数据挣钱。（ 8节）
   section9: 机器学习做验证码识别。（10节）

爬虫的五大方向

1. 电商数据（京东、淘宝、得物）
2. 外卖数据
3. 短视频数据
4. 工商数据（天眼查、企业查）
5. 海外外贸数据（亚马逊）

跨境电商

地方划分
【北京、上海】（亚马逊多点）、【福建】跨境缅甸老板？
【深圳】（工商）
某个方向都能熟练稳重抓取，面试逆向技术解说的考核点、难点，比如熟悉网页端、APP端（抓包复杂、验证）技术要领，解决一些场景问题，实践表现经验丰富，北上都能找到10-20k的工作，APP的搞内网的APP有个20K。