页面被蜘蛛抓取后将被如何建立索引？

发布时间：2025-09-21 00:10:03 阅读量： 2986 来源： 互联网转载

　　搜索引擎的数据库，是一个庞大复杂的索引数据库。你想知道你的网站页面被蜘蛛抓取后，会被怎样索引，搜索引擎为你的这个页面建立什么样的页面文件吗?

　　请你细细阅读：

　　1首先，你的页面是”新”的，也就是原创与伪原创。

　　2搜索引擎蜘蛛抓取了您的网站后，读取页面编码，作者，创建时间等属性信息。

　　3抓取网站内容信息，及我们常用的搜索引擎抓取模拟工具得出来的文字内容。

　　不知道这里能不能贴那么多抓取信息，这里就不给出来，大家可以到http://tool.chinaz.com/Tools/Robot.aspx?txtSiteUrl=www.11po.cn查看。

　　4将内容按切词技术，包括正反向切词，正向切词，反向切词，关键字少话切词，反馈切词技术等，得到一系列目标关键字(专业名词：术语)。例如：百度输入：GG视频客服系统注意出现标红的文字，很简单的我们可以得到如下目标关键字：

　　GG视频客服系统

　　视频客服系统

　　客服系统

　　客服

　　系统

　　GG视频

　　视频

　　将以上7个目标关键字左右匹配，得出其他相关关键字，这里不一一列出。

　　5抓取关键字出现的位置，在第3段模拟抓取中，我们可以看到title keywords与description，及页面内容。这可以很明显得看出关键字出现的位置。

　　6将第4段得到的目标关键字与第5段得到的位置信息形成一个数组文档，如(GG视频客服系统：10：1，2，4，5，6，9，11，23，55，65)(举例，真实情况需要查看网站实际内容)

　　上面的意思是：GG视频客服系统这个关键字，在该页面出现10次，位置分别处于1，2，4，5，6，9，11，23，55，65。再将这个数组及其他此时生成的文件存入到数据库中。

　　7当有人搜索GG视频客服系统的时候，搜索引擎将读取所有关于GG视频客服系统的数组，根据一系列复杂的算法，得到这些页面的排名顺序，展现给访客。

热门文章