企业网站建设费用记入,提升自己建设自己的网站,设计网页的8个步骤,厦门机场到厦门厦门网站建设订阅#xff1a;新手可以订阅我的其他专栏。免费阶段订阅量1000 python项目实战 Python编程基础教程系列#xff08;零基础小白搬砖逆袭) 说明#xff1a;本专栏持续更新中#xff0c;目前专栏免费订阅#xff0c;在转为付费专栏前订阅本专栏的#xff0c;可以免费订阅付… 订阅新手可以订阅我的其他专栏。免费阶段订阅量1000 python项目实战 Python编程基础教程系列零基础小白搬砖逆袭) 说明本专栏持续更新中目前专栏免费订阅在转为付费专栏前订阅本专栏的可以免费订阅付费专栏可报销名额有限先到先得。 即将转为付费专栏更多详细请看五一或有优惠活动哦。 关于专栏〖Python网络爬虫实战〗转为付费专栏的订阅说明 作者爱吃饼干的小白鼠。Python领域优质创作者2022年度博客新星top100入围荣获多家平台专家称号。 最近更新 〖Python网络爬虫实战㉕〗- Ajax数据爬取之Ajax 案例实战 上节回顾
前面我们讲解了 Ajax 的分析方法利用 Ajax 接口我们可以非常方便地完成数据爬取。并通过实战我们也了解到了怎么去获取。我们只要能找到 Ajax 接口的规律就可以通过某些参数构造出对应的请求数据自然就能轻松爬取到。
但是在很多情况下一些 Ajax 请求的接口通常会包含加密参数如token、sign 等由于请求接口时必须加上这些加密参数所以我们如果找不到加密的逻辑是难以直接模拟这些 Ajax 请求的。此时我们的解决方法通常有两种一种就是找到加密逻辑再用 Python 复现构造 Ajax 请求另外一种方法就是直接通过模拟浏览器的方式来绕过这个过程因为在浏览器里我们可以看到这个数据如果能把看到的数据直接爬取下来当然也就能获取对应的信息了。
由于第一种方法难度较高对新手不太友好这里我们就先介绍第二种方法模拟浏览器爬取。主要来说说Selenium的使用方法。
⭐️Selenium 的使用
为了解决这些问题我们可以直接使用模拟浏览器运行的方式来实现这样就可以做到在浏览器中看到是什么样抓取的源码就是什么样也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面不用管网页后台的 Ajax 接口到底有哪些加密参数。
安装准备
本节以 Chrome 为例来讲解 Selenium 的用法。在开始之前请确保已经正确安装好了 Chrome 浏览器并配置好了 ChromeDriver。另外还需要正确安装好 Python 的 Selenium 库。
✨ChromeDriver 安装
通常来说我们需要配合 Chrome 浏览器使用 Selenium所以我们还需要额外安装下ChromeDriver 和 Chrome 浏览器。
这里关于Chrome 浏览器的安装就不介绍了。我们主要来说说ChromeDriver的安装。其他浏览器的驱动都差不多我这里以ChromeDriver来演示。
查看浏览器的版本 这样我们就可以看到我们的版本好了相信大家也注意到了我这里有感叹号正常大家这里是没有的为什么博主这里有感叹号是因为博主把谷歌浏览器的自动更新关闭了为什么要关闭是因为如果不关闭的话谷歌浏览器会自动更新我们下载的驱动就要重新下载为了避免后面的重新下载我还是建议大家关闭谷歌浏览器的自动更新。
ChromeDriver
接下来我们就来安装ChromeDriver驱动我们可以去百度自行搜索这里博主把地址放在这里ChromeDriver驱动。
我们打开这个网页我们可以看到这样的内容。 接下来我们要找到对应的版本号如果没有的话就找一个最近的版本号。 我们点击之后选择自己需要的版本我选择的是win32. 将压缩包解压将chromedriver.exe移动到 Python安装目录下其实放哪都可以但是需要配环境变量放Python安装目录下省事。
这样你以后用selenium自动化框架来操作浏览器的时候就不会出现提示你没有浏览器驱动的报错了。
注意如果浏览器更新了我们的驱动也要更新不然就会报错。这里建议大家关闭谷歌浏览器自动更新。
✨Selenium 安装
pip 安装
推荐直接使用 pip3 安装执行如下命令即可
pip3 install selenium wheel 安装
除了 pip 安装也可以到 PyPi 下载对应的 wheel 文件进行安装。
然后进入 wheel 文件目录使用 pip 安装。
pip3 install selenium-xxx-py2.py3-none-any.whl
✨模块安装问题:
如果安装python第三方模块: win R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车 在pycharm中点击Terminal(终端) 输入安装命令 安装失败原因: 失败一: pip 不是内部命令 解决方法: 设置环境变量 失败二: 出现大量报红 (read time out) 解决方法: 因为是网络链接超时, 需要切换镜像源 清华https://pypi.tuna.tsinghua.edu.cn/simple阿里云https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学https://pypi.hustunique.com/山东理工大学https://pypi.sdutlinux.org/豆瓣https://pypi.douban.com/simple/例如pip3 install -i https://pypi.doubanio.com/simple/ 模块名失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入 解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好或者你pycharm里面python解释器没有设置好。 ✨验证安装
我们来运行下面的代码如果可以打开百度的网页几秒之后就关闭了就说明我们的安装就没有问题有的人安装的selenium是旧版本的一些语法会有一些变动这里推荐大家使用最新的方便后面的学习。
from selenium import webdriver
import timedriver webdriver.Chrome()
driver.get(https://www.baidu.com)
time.sleep(2)
driver.close() 我们就可以看到浏览器显示正在自动化测试。说明我们就成功。
总结
今天主要和大家讲解了正确安装好Chrome 浏览器并配置好ChromeDriver。另外还教大家如何正确安装好 Python 的 Selenium 库。
