网页收录加速优化—Robots.txt

Robots.txt

　　Robots简单来说就是网站在搜索引擎中收录“开关”，写下相应的规则就可以按规则阻止各类搜索引擎收录网站的页面。

Robots.txt相关规则：

　　Robots.txt的写法简单且统一，百度给出的详细解说

Robots.txt使用中的注意事项：

　　1、语法千万别出错，比如没有写对目录名，还有就无意间使用"/"把所有目录都禁止。

　　2、搜索引擎对Robots.txt的反应速度不一，比如google就反应比较快，一般在索引后的四天之内就把收录页面删除掉了，而且每次索引Robots.txt，如果你把以前的Robots.txt去掉的话，google一般在一周内做出反应。（时间不是很确定，不过1个月内重新收录是正常的。）这里需要强调的是，百对对Robots.txt规则也很尊重，但是你去掉以前已经有规则的Robots.txt的话，那么百度可能不再收录你的页面（或者周期时间比较常，有兴趣的朋友可以试试）。

　　3、利用Robots.txt来屏蔽掉网站一些不重要的内容页面，可以有效的提高其他内容的索引效率，间接的提高收录效率，所以有的时候Robots.txt也是很管用的工具。

声明：本文著作权归SEO爱好者—江南sky所有，如需转载请保留此声明与本站链接。