网站建设需要怎么做在网站建设中遇到的问题

最近搜索某公司网站上的技术资料，百度/bing都不能工作，纳闷

看了下该网站的robots.txt 明白了

User-Agent: *
Disallow: /

参考：

网站 robots.txt 文件配置方法，如何禁止搜索引擎收录指定网页内容 - 知乎