当前位置: 首页 > news >正文

网站怎么加统计代码深圳卓富通做网站

网站怎么加统计代码,深圳卓富通做网站,创建个人网站怎么赚钱,电子商务平台的运营方法安装scrapy pip install scrapy创建scrapy项目,需要在终端里创建 注意:项目的名字开头不能是数字,也不能包含中文 scrapy startproject 项目名称 示例: scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件&…
  1. 安装scrapy
pip install scrapy
  1. 创建scrapy项目,需要在终端里创建
    注意:项目的名字开头不能是数字,也不能包含中文
scrapy startproject 项目名称
示例:
scrapy startproject scra_baidu_36

创建好后的文件
在这里插入图片描述
3. 创建爬虫文件:
要在spider文件里面创建爬虫文件
先在终端中cd到spider文件里
创建爬虫文件

scrapy genspider 爬虫文件名 要爬取的网页
示例:
scrapy genspider baidu http://www.baiud.com

创建的爬虫文件内容:
在这里插入图片描述
name 爬虫的名字,用于运行爬虫的时候使用的值
allowed_domains 允许访问的域名
start_urls 起始url地址,指的是第一次要访问的域名
parse 是执行了start_urls之后执行的方法,方法中的response就是返回的那个对象

  1. 运行爬虫文件
    写一个print()
    在这里插入图片描述

在终端输入

scrapy crawl 爬虫的名字
示例:
scrapy crawl baidu

但是运行完并没有给我们返回任何数据
在这里插入图片描述
这是因为有robots协议
解决办法:只需要在settings.py文件里把 ROBOTSTXT_OBEY = True 给注释掉就可以了(或者把True改成False也可以)
在这里插入图片描述
然后再重新运行一遍就可以获取到数据了
在这里插入图片描述

http://www.yayakq.cn/news/817385/

相关文章:

  • 驻马店网站开发公司电话天津最好的网站建设
  • ps素材网站大全outlook WordPress设置
  • 宁波做网站制作两个网站放在同一个空间有什么影响吗
  • 成都网站建设源码世纪app开发合同范本
  • 有哪些好的做网站公司好宝安网站制作需要多少钱
  • 期货网站开发网站建设需要多少钱?
  • 平顶山市住房和城乡建设局网站网络教学平台
  • 网站改版会降权吗个人自媒体有哪些平台
  • 做盗版视频网站违法吗怎么样才能申请网址
  • 杭州如何设计公司网站wordpress在线表格
  • 网站建设与网页设计总结什么是网站后台
  • 网站的说服力情侣博客网站模板
  • 网站建设的电话做优惠券网站
  • 上海网站排名前十wordpress文章链接设置
  • 大型网站权限设计网站建设费 账务处理
  • 家教网站代理建设厅网站怎么查询安全员c考试成绩
  • 秦皇岛百度网站排名上海比较出名的互联网公司
  • 网站建设中手机版怎样用别人的网站做修改
  • 做网站需要注意什么问题wordpress 内容模板下载
  • 国外互联网科技网站简历表格 个人简历电子版免费
  • 西安网站有哪些网站注册空间
  • 如何策划网站php网站后台管理系统源码
  • 网站主机价格做网站用html还是php
  • jsp网站建设毕业设计产品设计师
  • 企业网站建设分工工业设计和产品设计哪个好
  • 网页设计中好的网站网站做页游推广
  • 济南建设网站企业免费云服务器有哪些
  • 回龙观网站建设设计师培训班
  • 百度网站体检免费制作模板网站
  • 南通专业网站制作公司wordpress 插件汉化教程