Yo2博客关于robots.txt问题的最新进展

大部分YO2博客都反映在谷哥网站管理员工具中存在robots.txt文件问题,错误都是一样的:

网络无法访问: robots.txt 无法访问
我们访问您的 Sitemap 时遇到错误。请确保您的 Sitemap 符合我们的指南要求,并能够通过您所提供的位置访问,然后重新提交。

按 照robots相关的帮助里说,robots并不是必须的,我可以不上传这个文件。而且相关的帮助也说明了如果robots不存在的话,将再次访问并抓 取,为什么谷歌来了两次还是只找这个robots文件呢?这不符合谷歌的帮助说明嘛。并且也不合理。不能因为网站没有robots文件,谷歌就不给收录。

谷歌中文网站管理员回应说:http://www.googlechinawebmaster.com/2007/09/blog-post_6441.html

你的错误一定与有没有robots.txt无关.请检查你的sitemap文件是否有问题.

有了这个提示,今天重新看了一下sitemap文件,里面包含中文页面的网址。 我记得以前用另外的网站提交过sitemap时,里面包含了中文的网址结果提交后报告返回错误,去掉这部分网页后正常。
这个问题表面上看起来是“robots.txt 无法访问”结果这一句话误导了所有人,Yo2的博客们肯定也想不通怎么会是这样的问题。因为robots.txt确实是正常的,每次手工访问都存在。现在终于找到问题了,希望YO2可以找到解决问题的办法。

我们发表文章时,当然是中文的标题了,如果没有指定文章缩略名肯定是中文了,然后sitemap是自动生成的,这个错误就在所难免了。

相关日志

此条目发表在google应用及研究分类目录,贴了, , , , , , 标签。将固定链接加入收藏夹。

Yo2博客关于robots.txt问题的最新进展》有 3 条评论

  1. 白鸽男孩说:

    不错,学习了。

  2. notmaybe说:

    我每次都写了文章的缩略名,所以sitemap可以提交成功的。但是robots.txt确不是正确的。Google访问和手动访问都会出现yo2的404错误(http://www.yo2.cn/errors/404.html),这个问题怎么解决呢?

  3. 首佳软件说:

    这个问题应该是YO2自身的问题了。

发表评论