什么是Robots协议

发布日期:2018-03-11    浏览次数:381

Robots协议

定义:Robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。您可以使用robots.txt禁止spider抓取您不想向用户展现的形式,这也有助于节省您的带宽。

本文网址:https://www.wyxxw.cn/blog-detail-26-28-1098.html

返回列表

非特殊说明,本文版权归原作者所有,转载请注明出处

提示:本站所有资源仅供学习与参考,请勿用于商业用途。图片来自互联网~如侵犯您的权益,请联系QQ:1067507709.

提示:转载请注明来自:http://quzhanzhang.com/sogou/55.html 。 转载人:momo