百度蜘蛛抓取频次过大怎么办?

发布日期:2018-03-10    浏览次数:580

您可以按照如下方法依次进行排查及解决频次过大问题:

1、如果您觉得Baiduspider抓取了您认为的无价值链接, 请更新网站robots.txt进行屏蔽抓取,然后到robots工具页面操作生效。

2、如果Baiduspider的抓取影响了您网站的正常访问,请到抓取频次上限调整页面进行抓取频次上限下调。

3、若以上方法均不能解决问题,请到反馈中心反馈

本文网址:https://www.wyxxw.cn/blog-detail-26-28-1032.html

返回列表

非特殊说明,本文版权归原作者所有,转载请注明出处

提示:本站所有资源仅供学习与参考,请勿用于商业用途。图片来自互联网~如侵犯您的权益,请联系QQ:1067507709.

提示:转载请注明来自:https://www.wyxxw.cn/blog-detail-26-28-1032.html 。 本文发布者:momo