- 注册时间
- 2011-12-16
- 最后登录
- 2019-1-22
- 阅读权限
- 200
- 积分
- 10639
- 精华
- 43
- 帖子
- 1450
  
TA的每日心情 | 奋斗 2014-7-15 14:13:00 |
---|
签到天数: 88 天 [LV.6]签到六级
|
发表于 2012-3-10 00:12:43
|显示全部楼层
1、搜索引擎爬行程序
搜索引擎爬行程序包括Robot机器人、soider蜘蛛、crawler爬行器等,3者只是命名不同,工作原理大致相同搜索引擎能够搜索出成千上万的页面,主要都是由于搜索引擎的探测器无时无刻在收录抓取着页面,Robot机器人、soider蜘蛛、crawler爬行器我们都可以称之为探测器,他们的功能都是一样的只是叫法不同而已,他们是搜索引擎开发的一个软件或者程序之类的,主要的目的就是每天来收录着有价值的网页。
2、现在我们主要针对的是做百度平台优化,那么小帅就百度蜘蛛来详细介绍下
当你有很多不知道的问题想要去了解的时候,你都会想到采用百度搜索引擎去搜索,而结果是都能搜索出你想要了解内容,但是为什么百度就能给出你想要的页面呢?其实这一切都是因为百度蜘蛛而实现的,百度搜索引擎所有的页面都是靠百度蜘蛛的抓取来得以实现的,百度蜘蛛其实是一款抓取程序,英文叫做baiduspider,它会不断的在互联网找寻新的url页面和新的内容,然后暂存到百度的数据库中。百度蜘蛛每天的收录达到了千万亿的页面,所以百度蜘蛛是不工作的,是因为有了这个程序,我的金网才能被搜索引擎收录,才能有好的排名,所以对于seoer而言,网站优化的对百度蜘蛛很友好,那么你就成功了一半!
3、搜索引擎爬行程序是如何抓取
Robot机器人、soider蜘蛛、crawler爬行器是搜索引擎构建的一个抓取页面的程序,Robot机器人、soider蜘蛛、crawler爬行器抓取页面工作首先是从目标网站首页登陆进去之后,通过目标网站的网站地图它可以了解出这个网站的所有的目录结构和所有连接页面的信息,然后会进入这些连接页面,通过自身分析出哪些是重要的、高质量的页面。
扩展阅读:
1、搜索引擎的工作原理(进阶seo教程20:搜索引擎做到最佳用户体验的4个工作过程 http://www.12jin.com/thread-11973-1-1.html)
2、搜索引擎对权重的算法(进阶seo教程28:网站pr值的详细算法 http://www.12jin.com/thread-16715-1-1.html)
作者:金网seo论坛文案提供 2012-10-20二次修订
金网seo论坛,seo教程分享,让你的seo优化技术精益求金
本文由金网版权所有,未经批准转载必究。
|
|