搜索引擎的工作原理那是相当的复杂的，大家不可以全方位的详细的讲解，但大家可以大概的认知一下搜索引擎的工作原理，如此能够帮助大家更好地做网站排名。那样今天网站制作的记者就简单的给大伙针对搜索引擎的工作原理做一个简单的讲解 ：

搜索引擎用来爬行和访问页面的程序被叫做蜘蛛，也称为机器人。

搜索引擎蜘蛛访问网站页面时像普通用户用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提升爬行和抓取速度，都用多个蜘蛛并发分布爬行。

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。假如robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址。

2.跟踪链接

为了抓取网上尽可能多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就仿佛蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名字的起源。

整个网络是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面。当然，因为网站及页面链接结构异常复杂，蜘蛛需要采取肯定的爬行方案才能遍历网上所有页面。

*简单的爬行遍历方案分为两种，一种是深度优先，另一种是广度优先。

所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

3.吸引蜘蛛

这样来看，虽然理论上蜘蛛能爬行和抓取所有页面，但事实上不可以、也不会这么做。网站优化职员要想让我们的更多页面被网站收录，就要挖空心思吸引蜘蛛来抓取。既然不可以抓取所有页面，蜘蛛所要做的就是尽可能抓取要紧页面。什么页面被觉得比较要紧呢?有几方面影响原因。

1、网站和页面网站权重。水平高、资格老的网站被觉得网站权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被网站收录。

2、页面更新度。蜘蛛每次爬行都会把页面数据存储起来。假如第二次爬行发现页面与首次网站收录的完全一样，说明页面没更新，蜘蛛也就没必要常常抓取。假如页面内容常常更新，蜘蛛就会愈加频繁地访问这种页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。

3、导入链接。无论是外链还是同一个网站的内链，要被蜘蛛抓取，就需要有导入链接进入页面，不然蜘蛛根本没机会了解页面的存在。优质的导入链接也常常使页面上的导出链接被爬行深度增加。

4、与首页点击距离。通常来讲网站上网站权重*高的是首页，大多数外链是指向首页的，蜘蛛访问*频繁的也是首页。离首页点击距离越近，页面网站权重越高，被蜘蛛爬行的机会也越大。