广州住房和城乡建设部网站,建设网站教程全集,如何建设网站服务器,wordpress最佳固定链接之前的文章有关于更多操作方式详细解答#xff0c;本篇基于前面的知识点进行操作#xff0c;如果不了解可以先看之前的文章 Python爬虫#xff08;1#xff09;一次性搞定Selenium(新版)8种find_element元素定位方式 Python爬虫#xff08;2#xff09;-Selenium控制浏览… 之前的文章有关于更多操作方式详细解答本篇基于前面的知识点进行操作如果不了解可以先看之前的文章 Python爬虫1一次性搞定Selenium(新版)8种find_element元素定位方式 Python爬虫2-Selenium控制浏览器 Python爬虫3-Selenium结合pywin32模拟键盘操作 Python爬虫4-Selenium模拟鼠标操作 Python爬虫5-selenium用显式等待、隐式等待、强制等待解决反复爬取网页时无法定位元素问题 Python爬虫6-selenium用requests、wget、urllib3这3种方法搞定图片和PDF文件下载 Python爬虫7selenium3种弹窗定位后点击操作解决点击登录被隐藏iframe无法点击的登陆问题
Python爬虫8selenium爬虫后数据存入sqlit3实现增删改查
Python爬虫9selenium爬虫后数据存入mongdb实现增删改查Python 中安装pymongodb插入数据selenium爬虫后插入单条数据插入多条数据查询数据查询文档中所有数据删除数据修改数据更新一条数据,指定键更新数据排序升序排序降序排序Python 中安装pymongodb pip3 install pymongo 插入数据
selenium爬虫后插入单条数据
import csv
import pymongo
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.by import By
opt ChromeOptions() # 创建Chrome参数对象
opt.headless True # 把Chrome设置成可视化无界面模式windows/Linux 皆可
driver Chrome(optionsopt) # 创建Chrome无界面对象
driver.get(https://hui.fang.anjuke.com/loupan/all/a1_m94-95_o8_w1_z3/)
def sc():housename driver.find_element(By.XPATH, //*[idcontainer]/div[2]/div[1]/div[3]/div[1]/div/a[1]/span).texthouseaddress driver.find_element(By.XPATH, //*[idcontainer]/div[2]/div[1]/div[3]/div[1]/div/a[2]/span).texthousearea driver.find_element(By.XPATH, //*[idcontainer]/div[2]/div[1]/div[3]/div[1]/div/a[3]).text#连接mongodb一定要按照mongodb的端口号来配置myclient pymongo.MongoClient(mongodb://localhost:27017/)#连接数据库如果数据库中没有相应的数据库名称会自动创建一个myclient pymongo.MongoClient(mongodb://localhost:27017/)#创建一个数据库名mydb myclient[test]#创建一个集合名mycol mydb[sc_house]#执行插入数据库mydict {housename_m: housename, houseaddress_m: houseaddress, housearea_m: housearea}# 插入一条数据x mycol.insert_one(mydict)
if __name__ __main__:sc() 以下所有的代码直接放到def中即可使用
插入多条数据
mydict [{housename_m: housename, houseaddress_m: houseaddress, housearea_m: housearea},{housename_m: housename, houseaddress_m: houseaddress, housearea_m: housearea},]x mycol.insert_many(mydict)查询数据 import pymongomyclient pymongo.MongoClient(mongodb://localhost:27017/)#创建一个数据库名mydb myclient[test]#创建一个集合名mycol mydb[sc_house]#查询文档中第一条数据x mycol.find_one()print(x)查询文档中所有数据
for x in mycol.find():print(x)删除数据
#删除字段mycol.delete_one({housename_m:y})可以看到被删除的指定字段
修改数据
更新一条数据,指定键更新 mycol.update_one({“housename_m”:‘五矿哈施塔特’},{“$set”:{“housename_m”:‘y’}}) 数据排序
升序排序
mymongodb mycol.find().sort(houseaddress_m)for x in mymongodb:print(x)降序排序
mymongodb mycol.find().sort(houseaddress_m, -1)for x in mymongodb:print(x)
