robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，这个文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。通常网站在开发阶段或者升级都会通过robots.txt来封禁搜索引擎的抓取，这虽然能避免蜘蛛抓取不必要的页面，但也对网站完全后的收录造成一定的影响，蜘蛛迟迟不来抓取。今天在百度站长平台看到有这方面的介绍，于是引用过来。
【处理方式】
1.修改Robots封禁为允许，然后到百度站长后台检测并更新Robots。
2.在百度站长后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。
3.在百度站长后台抓取频次，申请抓取频次上调。
4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。
5.百度站长后台链接提交处，设置数据主动推送（实时）。
6.更新sitemap网站地图，重新提交百度，每天手工提交一次。
通过以上的处理后，接下来就是等待了。
