搜索引擎的发展历史

研究搜索引擎优化，我们先简单看一下搜索引擎的发展历史。

互联网发展初期，网站相对较少，查找信息也比较容易。然而，随着互联网的爆炸式发展，网站越来越多。普通网民要找到自己需要的信息，就像大海捞针一样。这时，专业搜索网站应运而生，以满足公众信息检索的需求。

现代搜索引擎的鼻祖是1990年蒙特利尔大学学生艾伦艾姆塔奇发明的阿奇。虽然当时万维网还没有出现，但是网络中的文件传输相当频繁，而且由于大量文件分散在各种零散的FTP主机中，查询起来非常不方便，于是艾伦艾姆塔奇想到开发一个可以按文件名搜索文件的系统，于是阿奇应运而生。

阿奇的工作原理非常接近现在的搜索引擎。它依靠脚本程序自动搜索在线文件，然后索引相关信息，供用户用一定的表达式进行查询。因为Archie很受用户欢迎，并受其启发，美国内华达州的系统计算服务大学在1993年开发了另一个非常相似的搜索工具。然而，此时的搜索工具除了索引文件之外，已经能够搜索网页。

当时“机器人”这个词在程序员中非常流行。“计算机机器人”是指能够以人类无法达到的速度连续执行某项任务的软件程序。因为专门用于信息检索的“机器人”程序像蜘蛛一样在网络上爬行，所以搜索引擎的“机器人”程序被称为“蜘蛛”程序。

世界上第一个监测互联网发展规模的“机器人”程序是马修格雷开发的万维网漫游者。起初，它只是用来统计互联网上的服务器数量。后来发展到可以检索网站域名。

对应漫游者，马丁科斯特在1993年10月创办了ALIWEB，也就是阿奇的HTTP版。阿里不使用“机器人”程序，而是依靠网站主动提交信息来构建自己的链接索引，类似于雅虎。

随着互联网的快速发展，搜索所有新的网页变得越来越困难。因此，在《马修格雷漫游者》的基础上，一些程序员改进了传统“蜘蛛”程序的工作原理。这个想法是，由于所有网页可能有链接到其他网站，有可能通过跟踪一个网站的链接来搜索整个互联网。到1993年底，一些基于这一原理的搜索引擎开始出现，其中最著名的是JumpStation、万维网蠕虫(GOTO的前身，也就是今天的Overture)和基于知识库的软件工程(RBSE) Spider。

而JumpStation和WWW Worm只是按照搜索工具在数据库中找到匹配信息的顺序排列搜索结果，根本不存在信息关联。RBSE是第一个在搜索结果排名中引入关键词串匹配度概念的引擎。

最早的现代搜索引擎出现在1994年7月。当时，迈克尔莫尔丁(Michael Mauldin)将约翰莱维特(John Leavitt)的蜘蛛程序接入其索引程序，并创建了Lycos，如今已为大家所熟知。同年4月，斯坦福大学的两名博士生大卫费罗(David Filo)和美籍华人格里杨(Gerry Yang)共同创办了超级目录索引雅虎(Yahoo)，成功让搜索引擎的概念深入人心。自此，搜索引擎进入了一个快速发展的时期。例如，最受欢迎的谷歌搜索引擎现在包含80亿个网页。