衡水网站建设,衡水网络公司,衡水做网站,衡水网站制作,安平网站建设,安平网站优化,冀州网站建设,武强网站建设,衡水做网站的公司

我们是技术出身,不擅长花言巧语
我们只专心为客户提供实实在在、看得见的技术与服务!

seo学习

无限互联 无尽商机 成就你我 传递价值!

Unlimited Internet endless business opportunities to achieve your value to me!首页  »  新闻中心  »  seo学习

robots.txt文件用法举例

来源:http://www.chaofan.biz/  发布者:网站建设 发布时间:2012-9-3 11:23:14 浏览量:
 
例1.禁止所有搜索引擎访问网站的任何部分User-agent: *
Disallow: /
例2.允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
第1种写法
User-agent: *
Allow: /
第2种写法
User-agent: *
Allow:
第3种写法
User-agent: *
Disallow:
例3. 仅禁止Baiduspider访问您的网站User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站User-agent: Baiduspider
Allow:
/
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分urlUser-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
例7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: / .htm$
例9. 禁止访问网站中所有的动态页面User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /* .jpeg$
Disallow: /* .gif$
Disallow: /* .png$
Disallow: /*.bmp$
例11. 仅允许Baiduspider抓取网页和。gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow: / .jpeg$
Disallow: / .png$
Disallow: /.bmp$
例12. 仅禁止Baiduspider抓取。jpg格式图片User-agent: /Baiduspider
Disallow: /.jpg$
百度各个产品使用不同的user-agent:
  
无线搜索Baiduspider-mobile
图片搜索Baiduspider-image
视频搜索Baiduspider-video
新闻搜索Baiduspider-news
百度搜藏Baiduspider-favo
百度联盟Baiduspider-cpro
商务搜索Baiduspider-ads
网页以及其他搜索Baiduspider

(转载请注明转自:http://www.chaofan.biz 谢谢!)
  • 60天打造网络营销的主战场!

    专业独家定位策划;三站合一网络营销系统助力更多的关键词上百度首页!

  • 180天快速见效

    专业营销人员协助客户进行网络推广有效快速提升网站转化率,180天快速见效!

  • 打破潜规则,帮你打造团队!

    为您打造一支高效率网络营销运营团队,让你自主操盘网络营销!让你的网络营销真正落地!

  • 7*24小时售后服务保障

    云商衡水网站建设团队将以专业的态度,为您提供100%的专业服务!
    网站有问题3分钟内即可作出反馈