sitemap和robots的关系,robots如何写?

robots.txt 网址 http://www.xiuli123.com/robots.txt
最新下载 2007年9月25日 上午02时24分03秒
状态 200 (成功)

这是google网站管理员工具提供的最新报告。 robots.txt文件内容可当一个robots的参考范例:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

几乎所有搜索引擎都尊从robots协议,并按网站根目录下的robots.txt文件进行网站的抓取。 这个例子的意思是:允许所有搜索引擎抓取,并且/wp-admin/、/wp-content/、 /wp-includes/这三个目录不可以抓取。有关 robots.txt 语法的更多信息,请参阅 robotstxt.org。谷歌对有关robots.txt的设置信息请参考:http://www.google.com/support/webmasters/bin/answer.py?answer=40364&topic=8846&hl=zh_CN

在robots.txt文件无法访问或按要求验证时,提交的sitemap都会提示有相关错误,比如:robots.txt文件无法访问等。我提交了两次都失败了,可能是不存在robots.txt文件的问题,后来一查这个文件是存在的,又提交了一次终于成功了。不知道这个robots.txt文件是不是YO2后来生成的,这个问题无法考证了。

按谷歌帮助文档的说法,robots.txt文件是可以不存在的,但在提交sitemap时又必须先检查robots.txt文件,如果返回404错误,则会在以后重新访问网站并开始抓取。后来我要检查时robots.txt又存在了,sitemap才通过。如果这个文件真的不存,那谷歌是不是按照帮助文档的说法呢?不得而知了。

相关文章:google应用:如何写sitemap.xml文件?

相关日志

此条目发表在google应用及研究分类目录,贴了, , , , , 标签。将固定链接加入收藏夹。

sitemap和robots的关系,robots如何写?》有 6 条评论

  1. 前博客说:

    太技术了。。
    我只会用插件做这个

  2. 首佳软件说:

    哈哈,如果有服务器的FTP权限,自己就可以写了。

    按照谷歌帮助的说法:大约每天检查一次是否有新的 robots.txt 文件。
    最新下载 2007年9月25日 下午11时19分08秒
    状态 503 (服务不可用)

    郁闷死了!可能在那个时候服务器出问题了。那么在提交sitemap文件的时候,必须要保证robots.txt文件的状态是正常的,否则提交sitemap时肯定返回错误。

  3. notmaybe说:

    现在访问yo2的robots.txt会出现404错误,不知道怎么解决这个问题?

  4. 首佳软件说:

    我也测了,确实如此,以前我手工访问是没有问题的。这个东西不要也没多少关系。

  5. Pingback引用通告: 如何制作sitemap.xml文件? | 汽修软件-汽配软件-汽配店-汽修厂-用首佳汽修汽配管理软件系统

  6. Pingback引用通告: google应用:如何写sitemap.xml文件? | 汽车修理厂管理与汽车维修管理软件

发表评论