励志电商传奇网络营销案例

金网seo论坛 12jin.com

 找回密码
 注册金网会员

QQ登录

只需一步,快速开始

查看: 4948|回复: 22

基础seo教程20:什么是robots.txt [复制链接]

金网义务宣传志愿者

小帅历尽沧桑的故事

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2014-7-15 14:13:00
  • 签到天数: 88 天

    [LV.6]签到六级

    金网版主候选人 金网seo高手 金网糕摔富

    发表于 2012-8-20 18:39:26 |显示全部楼层
        什么是robots.txt
      
      对于新手肯定不知道robots.txt是什么,其实一般大家优化的网站服务器里面都是有这个文件,只是大家可能没有发现罢了,robots.txt是一个纯文本txt文件,主要是为百度蜘蛛准备的,与我们用户没有丝毫关系,它是百度蜘蛛访问网站的时候要查看的第一个文件,robots.txt文件告诉百度蜘蛛在服务器上什么文件是可以被查看的,哪些网页可以收录,哪些不允许收录,对与seo优化而言,放置一个robots.txt是对搜索引擎有好的表现,robots.txt必须放置在一个站点的根目录下,且文件名必须全部小写。
      
      robots.txt作用
      
      robots.txt主要作用是保障网络安全与网站隐私,百度蜘蛛遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt,网站就可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站都可以自主控制网站是否愿意被百度蜘蛛收录,或者指定百度蜘蛛只收录指定的内容。当百度蜘蛛访问某个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。


            robots.txt一般屏蔽哪些页面和文件呢?
        屏蔽隐私页面,后台登陆页面,缓存页面,图片目录,css目录,模板页面,屏蔽双页面的内容,同时可以屏蔽一些质量比较差的页面,例如金网的所有会员用户空间页面,dz的动态链接也可以设置屏蔽。通过Disallow:命令来进行设置
     以上内容做了百度百科“robots.txt”词条:http://baike.baidu.com/view/933207.htm

      robots.txt文件的格式:
      
      User-agent:_____   空白处为定义搜索引擎的类型;

           Crawl-delay:_____ 空白处为定义抓取延迟
      Disallow:_____   空白处为定义禁止搜索引擎收录的地址;  
      Allow:_____   空白处为定义允许搜索引擎收录的地址;
      
      
    ps:附件中是金网论坛的robots文件,给seo新手们参考!

           作者:金网seo论坛文案提供   2012-10-20二次修订
           金网seo论坛,
    seo教程分享,让你的seo优化技术精益求金
           本文由金网版权所有,未经批准转载必究。






    附件: 你需要登录才可以下载或查看附件。没有帐号?注册金网会员
    分享到:
    金网seo论坛交流群1:204807681
    小帅QQ:593671213
    欢迎大家加小帅QQ以及金网QQ群来学习交流探讨


    ***金网论坛总版规,新手必读***

    金网路人甲

    www.hnjzy.com

    Rank: 2

  • TA的每日心情
    开心
    2012-10-15 17:20:41
  • 签到天数: 3 天

    [LV.2]签到二级

    发表于 2012-9-21 16:22:24 |显示全部楼层
    我喜欢使用robots.txt屏蔽一些,我不想让大众看到的文件!
    活性炭药剂WWW.WATERLL.COM

    使用道具 举报

    Rank: 1

    该用户从未签到

    发表于 2012-10-18 18:22:05 |显示全部楼层
    文章不错,很值得学习
    www.yndiankuai.com www.zxzjsb.com

    使用道具 举报

    Rank: 2

  • TA的每日心情
    开心
    2012-12-21 16:43:58
  • 签到天数: 3 天

    [LV.2]签到二级

    发表于 2012-10-20 16:25:48 |显示全部楼层
    这个还是不太懂怎么做,做好了,放在哪个地方
    www.yljxmf.com  www.hngkdp.com www.jxwenshen.com

    使用道具 举报

    Rank: 3Rank: 3

  • TA的每日心情
    奋斗
    2012-12-2 10:48:59
  • 签到天数: 15 天

    [LV.4]签到四级

    发表于 2012-10-21 11:17:33 |显示全部楼层
    哈哈,一路看过来,学了很多东西啊
    武汉试管婴儿医院-武汉康健妇婴医院-www.whsgyy.com-www.whkjyy.com

    使用道具 举报

    头像被屏蔽

    禁止发言

  • TA的每日心情
    开心
    2014-8-29 08:57:59
  • 签到天数: 18 天

    [LV.4]签到四级

    发表于 2012-10-21 11:40:49 |显示全部楼层
    提示: 作者被禁止或删除 内容自动屏蔽
    签名被屏蔽

    使用道具 举报

    Rank: 7Rank: 7Rank: 7

  • TA的每日心情

    2015-11-23 17:48:25
  • 签到天数: 136 天

    [LV.7]签到七级

    金网seo高手 金网优秀版主

    发表于 2012-10-28 11:03:05 |显示全部楼层
    还有一些其他功能的。
    德丰投资控股有限公司投资数亿美元注册成立德丰投资香港公司,立足香港,放眼未来。德丰投资隶属宁波海顺证券投资咨询有限公司,以公平、公正、公开为宗旨,产品涵盖贵金属、外汇

    使用道具 举报

    该用户从未签到

    发表于 2012-11-22 17:09:19 |显示全部楼层
    写的很好,受教
    www.dwffm.com欢乐谷娱乐城 www.baoeg.com欢乐谷娱乐城 www.hntjy.com 88娱乐城

    使用道具 举报

    Rank: 4

  • TA的每日心情
    开心
    2012-12-14 08:48:31
  • 签到天数: 15 天

    [LV.4]签到四级

    发表于 2012-11-30 09:37:33 |显示全部楼层
    完全不知道这个要怎么写
    http://www.jiaoshui.net  中国胶水网
    http://shop.jiaoshui.net   想联商城

    使用道具 举报

    Rank: 2

  • TA的每日心情
    开心
    2012-12-3 15:06:36
  • 签到天数: 5 天

    [LV.2]签到二级

    发表于 2012-12-3 15:07:14 |显示全部楼层
    写的很好,学习了

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册金网会员

    关闭

    金网导读

    进阶seo教程15:做合格电子商务型企业网站的7个方面
    进阶seo教程15:做合格电子商务型企业网站的7个方面
     前言:随着电子商务的快速发展,人们越来越热衷于通过网络电子信息的方式来进行商务活动,电子商务具有成本低......

    查看 »

    关于金网|关于小帅|seo教程|你能得80分吗|pr算法|百度算法|实战seo教程|手机版|seo论坛   

    GMT+8, 2018-10-23 14:04 , Processed in 0.140628 second(s), 20 queries .

    版权所有(c) 2010-2012 金网计算机网络公司

    seo论坛 备案号:赣ICP备11008309号-1

    回顶部