百度robots生成检测工具

发布日期:2018-03-10    浏览次数:463

百度robots生成检测工具

链接地址:https://ziyuan.baidu.com/robots/

百度robots生成检测工具使用说明

1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
3、Robots工具暂不支持https站点。
4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

本文网址:https://www.wyxxw.cn/blog-detail-26-28-1028.html

返回列表

非特殊说明,本文版权归原作者所有,转载请注明出处

提示:本站所有资源仅供学习与参考,请勿用于商业用途。图片来自互联网~如侵犯您的权益,请联系QQ:1067507709.

提示:转载请注明来自:https://www.wyxxw.cn/blog-detail-26-28-1028.html 。 本文发布者:momo