网站都要备案吗长链接在线生成短链接

robots.txt协议是在Web站点的根目录下设置一个robots.txt文件，规定站点上的哪些区域或者哪些页面是限制搜索的。搜索程序将参考该文件，决定站点中的哪些区域是不允许搜索的，并在接下来的搜索过程中跳过这些区域。

下面是一个例子：

# robots.txt for http://somehost.comUser-agent: *
Disallow: /cgi-bin
Disallow: /registration

• 示例中第一行是一行注释，注释以一个#开头。
• User-agent：指访问站点的程序，每个浏览器都有一个唯一的User-agent值，浏览器在向Web服务器发送请求时会在每个请求中都附加这个值。
  Web站点通过在robots.txt中使用User-agent就可以针对不同的User-agent设置不同的规则。
• Disallow是拒绝语句，定义了搜索程序不允许访问的Web站点路径。拒绝语句只针对路径进行设置，不针对具体的文件。