广东省建设监理协会信息管理网站成都最好的设计院

爬虫简介

爬虫初始深入

爬虫在使用场景中的分类

• 通用爬虫：
  • 抓取系统重要组成部分。抓取的是一整张页面数据
• 聚焦爬虫：
  • 是建立在通用爬虫的基础上。抓取的是页面中特定的局部内容。
• 增量式爬虫
  • 监测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

---

• 反爬机制
• • 可以通过制定相应的策略或技术手段防止爬虫进行爬取。
• 反反爬策略
• • 可以通过制定相关策略或技术手段破解反爬机制从而可以获取门户网站中相关的数据。

反爬机制：robots.txt协议

君子协议，规定了网站中哪些数据可以被爬虫爬取，哪些不可以。

HTTP&HTTPS

超文本传输协议：服务器和客户端进行数据交互的一种形式

常用请求头信息

• User-Agent：请求载体的身份标识
• Connection：请求完毕后，是断开连接还是保持连接

常用响应头信息

• Content-Type: 服务器响应回客户端的数据类型。

https协议

• 安全的超文本传输协议

加密方式

• 对称密钥加密：将密文和密钥一起发送
• 非对称密钥加密：公开密钥加密，私有密钥解密。（客户端拿到的公钥可能被篡改）
• 证书密钥加密（https）：加入证】书认证机构

requests模块基础

以json文件保存到本地

file = open('./huanzhuanpin.json','w',encoding='utf-8')
json.dump(all_data,fp=file,ensure_ascii=False)