日期: 2021年1月26日

https://www.ainiseo.com/jishu/8526.html

2020年5月26日 pm2:37 • SEO技术 • 阅读 4939

做为SEO行业从事者，少不了经常被人咨询灰色词SEO波菜关键词的黑帽优化方法，由于自己只擅长白帽SEO正规手法，对黑帽SEO一无疑所知，转载本文来揭密黑帽灰产SEO的玩法套路。

SEO大神brooks的文章值得深读，研究SEO应有的态度，不是无脑的相互模仿，而已追根逆源，找出背后的原理。好了开始正文分享（如有侵权联系删之）

一，什么是灰产黑帽SEO？

关于灰色词SEO大家可能见过，放不多说先上个图：

相信大家对于上图都比较熟悉，基本上也都见到过。但是很多人都好奇这玩意是怎么做到的？

有没有很高深的技术呢？

正好今天在浏览简书的时候有看到，索性就花了半小时研究了一下，发现其实原理都很简单，用到的都是seo的基础知识哈。

上面截图出来的一共有三种不同的操作手法，这里会一一讲解到。

二，灰产SEO玩法：借鸡生蛋 套路

首先看排名第一的，直接点进去看看。发现这个就是简单的构造搜索链接来达到收录推广的目的。

但是这玩意，不能说你构造出来就行了，还得让百度蜘蛛发现和收录吧？咋办呢？发外链呗，到各大平台去留言，通过留言来发外链就好了。就比如下图的，就是在简书上留言：

奥力给有木有，虽然简书对这些留言链接进行了nofollow，但是不影响百度的链接发现的。由此也可以得出一个结论，nofollow对于百度的抓取似乎并没有什么太大的影响？那么nofollow影响的是啥？

这个标签的意义是告诉搜索引擎，这个链接不是经过作者自己编辑的，所以这个链接不是一个信任票。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重。

所以，大家在给网站加nofollow的时候，可要考虑清楚你要加它的目的是干什么？不能瞎搞哈。

排名第二的就有点意思了，我们来看看：

我们发现，点击进去页面是正常的。首先有了先例之后，我就开始怀疑会不会是在链接上做了手脚呢？比如有两套不同的链接，但是可以访问同样的页面。有了想法，就开始去验证，回到首页点击其它的新闻看看正常给到的新闻页面是什么样的。

发现了么，URL的结构不一样，当然，这个是最新的。而之前那个是2016年的，而且没有HTTPS。那就是说可能URL经过改版了。而且原来的那套URL也还能访问。于是动手改了一下，发现真的可以。

不过这个并不能验证为啥title被改掉了，因为目前这个手法还是比较流行的。其它的大站也都有“中招”。看起来像是快照劫持，但是快照劫持要入侵服务器，修改文件响应，按道理来说，搜狐、新浪这些大站点应该不至于那么容易被hack，而且量又不大。看看下图的：

都是比较出名的大站，而且都是标题改了而已。目前，初步怀疑是外链锚文本+301跳转导致的，具体不是很清楚，有知道的大兄弟可以私我说说哈。

三，黑帽灰产SEO之伪造关键词

来看看第三种方式，伪造关键词tag页面。

都是网易的标签页，打开看看：

404来的，看到一长串的数字。老头疼的，本着学习的目的，继续深究一下看看能不能找出点啥东西出来。先去瞅瞅正常的tag页面是啥样的，随便找个子栏目的列表页看看：

这些就是关键词，鼠标移上去就会在左下角看到他们的链接。这里整理贴出来给大家看看：

# 刘涛  http://ent.163.com/keywords/5/1/52186d9b/1.html

# 鬓边不是海棠红   http://ent.163.com/keywords/9/1/9b138fb94e0d662f6d7768e07ea2/1.html

# 清平乐  https://ent.163.com/keywords/6/0/6e055e734e50/1.html

# 塞上风云记  https://ent.163.com/keywords/5/5/585e4e0a98ce4e918bb0/1.html

可以看到，链接的pattern是这样的：

https://ent.163.com/keywords/{加密ID[1]}/{加密ID[3]}/{加密ID}/1.html

可以总结出网易的tag链接组成特征：

1. keywords后面跟着的两个数字目录就是关键词加密后的，第一和第三个字符
2. 关键词加密后的长度跟关键词的字数成正比

接下来就是要研究它的加密算法了，一般的，看加密算法先了解字符串的长度和特征，这里就不说了。看到加密后的都是小写的数字加字母，而且字母只出现了a/b/c/d/e/f这几个，再结合加密后的长度验证，得出这个就是一个简单的16进制加密：

可以看到，这个一个汉字对应得出4个数字的加密，那这个就是16进制的加密了，16进制是占用4个字节的，所以刚刚好。但是这些汉字是如何转换成数字的呢？如果对编码熟悉的童鞋就会知道，一个汉字得到4个数字，不就是unicode编码的16进制表达么。只要轻松转换一下就好了。这里补充一下，由于字母转换成unicode编码的16进制之后，得到的是两位数，因此需要对它进行等宽对齐到4位。

有了想法，那么就是校验的过程了，代码搞起来：

校验成功之后就是封装成函数了，好方便调用：

就是这么简单，然后就是批量生成关键词的链接，拿去发外链就好了：

特么牛掰，不得不说，做黑帽的技术就是牛，不佩服不行。

今天的分享就到这里，如果你能看懂相信一定是懂程序开发的大神级人物了，如果看不懂也不需要深入研究，了解下黑帽SEO的玩法原理也无妨。

友情提示：为了你的生命安全，提倡白帽SEO，远离灰产黑帽SEO。

那么问题来了，为啥这些构造出来的404页面也能够被收录呢？欢迎大家留言探讨。

声明：本文没任何利益关系，转载自码迷SEO公众号只供SEO站长学习研究之用。
原作者是Brookxs公号名brooks的技术小屋。

本站文章由SEO技术博客撰稿人原创，作者:站长优哥创作，如若转载请注明原文及出处：https://www.ainiseo.com/jishu/8526.html灰产SEO排名灰色词SEO黑帽SEO 赞 (11)  打赏微信扫一扫 支付宝扫一扫站长优哥投稿作者 0 8 生成海报微信扫码分享记一次服务器故障带来的网站降权恢复记录 上一篇2020年5月25日 pm9:59Google搜索将在2021年推出新的页面体验排名信号下一篇 2020年6月12日 pm6:07

相关文章推荐

• 培训视频SEO新手入口seo术语：什么是黑帽SEO 2.3K 1 0 0 无 忧2020年8月13日

发表评论

*昵称：*邮箱：网址： 记住昵称、邮箱和网址，下次评论免输入提交

评论列表（8条）

• 句子精选2020年11月21日 上午10:41分析的很到位。赞一个
• 秀米下载2020年11月12日 上午11:32从别人高深的技术学习后，用到自身的网站上面，分析的很详细，学到不少知识。
• 洋得意网2020年7月10日 下午12:25膜拜大神 分析好细致
• 新媒体运营2020年7月6日 下午5:35灰帽黑帽用的还是非常普遍，只是用于不同行业罢了，同时会的人毕竟是少数。
• 桃朵日记2020年6月22日 下午5:44其实类似快排的做法，就是做到短期暴力赚钱。很多人坚持不下来。社会一天一变，当下赚钱变的难了
• 非大片2020年5月30日 下午7:40核心技术是秒文本权重传递。
  • 无 忧 2020年6月21日 下午10:22@非大片：good
• 站长优哥2020年5月26日 下午2:40做为SEO行业从事者，少不了经常被人咨询灰色词SEO波菜关键词的黑帽优化方法，由于自己只擅长白帽SEO正规手法，对黑帽SEO一无疑所知，转载本文来揭密黑帽灰产SEO的玩法套路。

https://zhidao.baidu.com/question/2055451337085206787.html?qbl=relate_question_1&word=%D1%C5%BB%A2%CA%C7%D7%EE%D4%E7%B5%C4%CB%D1%CB%F7%D2%FD%C7%E6%C2%F0

2016-05-10
关注
搜索引擎优化（SEO）不是突然出现的一个技术，而是和搜索引擎同步32313133353236313431303231363533e58685e5aeb931333339666665发展起来的，两者的关系虽然不能说是“矛和盾”的关系，但是可以肯定的是，因为有SEO才使得搜索引擎技术能够变得更完善。
一、1994-1997年：雅虎诞生与SEO诞生
1993年8月，Lycos推出了基于搜索机器人的数据发现技术，并支持搜索结果相关性排序额，它还第一次让搜索引擎能够使用网页自动摘要。
1995年底，Alta Vista推出，由于它具备大量的新的搜索功能，深受大众好评，Alta Vista是第一个支持自然语言搜索，具备了基于网页内容分析、智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND，OR，NOR等），同时还能搜索新闻群组中的内容，还能搜索图片。
这一阶段也是yahoo发展的初期阶段，大多数人在这个时候对搜索并不熟悉，也不太知道有搜索引擎这回事，但是对于yahoo，大多数人则有所了解，寻找网站就上Yahoo。所以，将你的网站送到Yahoo是很必要的，在此阶段，只要你的网站基本有个模样，有一定的可看性，一般只要向Yahoo提交地址，72小时内就能出现在Yahoo目录上。Yahoo对所有的网站进行人工归类，一般是按照字母顺序排列网站，自然开头为“A”的网站排到开头为“B”的前面，而有两个A的网站，排在有A和B的网站前面，比如，American Airlines的网站不仅排在Bank of America的前面，而且也排在American Basketball Association前面。所以，大批网站就以追求A字来命名。这是搜索引擎优化的雏形。这个逻辑和黄页电话号码的排名逻辑一样。
在这一阶段，Yahoo的栏目编辑们也在网上积极搜索新的网站，丰富他们的数据库，而他们的搜索都是人工的，最典型的方法就是从一个网站的链接去访问另外一个网站。遇到一个好的网站，他们就给站主发电子邮件，欢迎站主登录，而且都是免费的。
这些Yahoo编辑访问网站的行为和我们今天看到的搜索引擎蜘蛛和机器人的形式是一样的孜孜不倦。有个Yahoo编辑这么关心你的网站，比你还着急登录你的网站，而且一文不收，这个在今天是无法想象的。你的网站登录后，你还可以随时更改登录的信息，一般72小时就得到了更新。
值得一提的是，虽然在这个时期中文网站很少，而且大多数是美国的中文网和在台湾的网站，但是Yahoo显然注意到中文网站的未来，而且迅速有个中文译名“雅虎”，而这个不仅仅是因为它的创始人是杨致远。
这一阶段也是SEO的雏形时期。网上网下出现了一些论文，讨论文字对应、数据挖掘和对搜索引擎程序员的访谈。人们初步有了让网页内容符合搜索引擎数据库原理的模糊意识。同样，将网站收录到搜索引擎也是很容易的，你的网页只要关键词的使用达到一定密度就轻而易举地排列在搜索引擎上了。
值得一提的是，搜索引擎InfoSeek首次做到每日更新。早晨八点你提交网站，下午就被收录，第二天就能出现在搜索之中。正是因为这么快的更新和这么容易的提交收录，大量的站主开始变着法子频繁登录不同的网址，英文出现Spam这个词来形容站主不负责地制造泛滥的垃圾，很快使这些搜索引擎吃不消。
所以，SEO从一开始就是黑白两道开始的。白的，英文里是white-hat，就是按照能够悟出的搜索引擎原理来合理地调整自己的网站，使搜索引擎能收录并得到好的曝光。黑道，英文叫black-hat，这类优化者仿佛是黑客，寻找搜索引擎的弱点，力图将混淆的信息强塞给搜索引擎，从而为真实的网站提高曝光机会。
这个时期，因为强大的利润诱惑，成人网站可以说是带头去“黑”搜索引擎。所以SEO和搜索引擎从一开始就是爱和恨的关系，这个时期，收费的网站优化服务也开始在美国出现。
在中文搜索引擎领域，中国的起步其实并不晚。1996年8月成立的搜狐公司是最早参与做类似Yahoo的管理信息分类导航的网站，曾一度有“出门找地图，上网找搜狐”的美誉。
这个时候，没有人注意在斯坦福大学的一个宿舍里，两个聪明的学生正在慢慢孕育一个令世界瞩目的新型搜索引擎。他们发明了一个新的叫PageRank的理论，来重新塑造搜索引擎。这个新型搜索引擎就是现在的Google。
二、1998-1999年：Google和SEO理论浮现
这一阶段，美国的互联网大会开始有一些关于网站优化的文章发表。这些文章开始关注到链接流行度（Link Popularity）、名录网站链接（Directory Listing）的意义。这段时间，搜索引擎也知道了需要限制人们的网站提交来防止垃圾网站的泛滥，于是开始组织反击。
Alta Vista开始大规模剔除含有“我们来优化”或者“我们来推广”这类文字的网页。SEO的实践者开始意识到，要破解搜索引擎的原理越来越难。在1999年将一个网站提升到前十名要比在1998年难上十倍。搜索引擎开始更多关注链接流行度的意义。
Google也在1998年收到了第一张十万美元的风险投资，搬出了斯坦福校园，正式命名为Google公司，域名也从google.stanford. edu变成google. com。这个新的搜索引擎衡量网站的重要性首次将链接流行度作为排名的标准之一。
1999年5月，英国的FAST公司推出ALLTheWeb搜索引擎。它的网页搜索可利用ODP自动分类，支持Flash和PDF文件搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3和FTP搜索，拥有极其强大的高级搜索功能。这么强大的功能使它成为最流行的搜索引擎之一。
这一阶段的初期，搜索引擎也开始了多元化的进程，开始设立多语种的网站，比如AltaVista就率先开始了拉丁语的版本。台湾中正大学吴升教授所领导的GAIS实验室于1998年1月创立了OpenFind中文搜索引擎。它是最早开发的中文智能搜索引擎，号称能抓取全球最多的网页并开始进入英文搜索引擎。
1999年Google获得了两千五百万的资金，开始全力发展，并且已经在每天处理50万次搜索，这个投资也使Google再次搬家到旧金山——硅谷地区叫Palo Alto的城市。Google也开始结识合作伙伴，从AOL到Netscape不久，Google再次搬家到的全球总部依然是旧金山——硅谷叫Mountain View的城市。这时候的搜索引擎开始设法控制市场，广告广泛地出现在搜索引擎上。这引起了许多搜索者的反感，因为大家还是在用56KB modem上网，大量的广告使网站页面出现的太慢。
Google发现了这个影响搜索步伐的致命的问题。简洁的网页设计使众人耳目一新，飞快地搜索速度更使得各个站主奔走相告，每个站主论坛都充满了对Google的极好评价，杂志的采访也是接连不断地对Google进行推荐，Google的全面演出就正式登台了。
三、百度和搜索引擎的革新
从2000年开始，登录一个网站到搜索引擎花的时间是越来越长。搜索引擎热衷于收费服务，从一个新的搜索引擎Inktomi到Alta Vista都染上了金钱。与此同时，搜索者希望有一个搜索引擎能真正地给他们带来有用的信息。Google没有辜负人民的期望，它的精确搜索开始巩固它在搜索引擎中的地位。
首先出局的是InfoSeek,这个InfoSeek在1998被迪士尼公司买下，变成Go. com。从那以后，InfoSeek被抛弃，而Go. com也使用Yahoo搜索来代替。在1999年，InfoSeek的一位华人工程师离开了这个搜索引擎而驶向北京，他力图要创立一个“中国人自己”的搜索引擎，并且受一句中国古词“众里寻他千百度，蓦然回首，那人却在灯火阑珊处”的启发，将中国人的搜索引擎起名叫“百度”。这个工程师就是百度的创始人之一—李彦宏。
李彦宏自己就是新一代的搜索技术专家，他早在1996年就解决了如何将基于网页质量的排序与基于相关性排序完美结合的问题，并获得美国专利。百度公司结合硅谷搜索引擎人才精英，依托北京最优秀的软件人才，开发了大型商业化的中文搜索引擎，中文搜索从此与英文搜索站在了同一起跑线上，同时，百度搜索巧妙地解决了数据更新的瓶颈，整个中文网页的数据库可以最快每天更新一次。
2000年也是Flash动画、JavaScript特技Rollover和动态图片的流行之年。这些动态的形式让人喜爱，但是很少有人知道，搜索引擎不能认识这些，搜索引擎只能阅读文字，而非这些感官的创意，因为它们一直是在模拟人的阅读方式，但是却无法模拟人的感知，直到今天，搜索引擎也没有解决这个问题。
从这一年开始，实际上，向搜索引擎呈交新的网站不需要按照以前那样在搜索引擎的页面上填写“ADD URL”，搜索引擎已经能从一个存在的网站上发现新网站的链接来访问并收录。在这个时候，SEO实践者也开始知道，如果网站能被目录导航站（Directory），特别是开放目录ODP（Open Directory Project）收录，将非常有助于搜索排名的提升。最知名的ODP是DMOZ（www. dmoz. org），由尼克·斯冠塔河鲍勃·图尔两位Sun公司的工程师在1998年创办，它是一个人工来收录网站进行分类的目录网站。在这点上，它的组成和Yahoo是一样的。
不同的是，它是由全球的站主自己做编辑来维护的，而Yahoo是由专业编辑来维护的。关于DMOZ，搜索引擎青睐DMOZ，是因为经过人工分析的网站的可信度自然要高于搜索引擎蜘蛛和机器人来获取的网站信息可靠。
2001年的收费登录大为红火。搜索引擎市场经历大清洗，人们开始抛弃搜索引擎Hotbot，Alta Vista和Excite。Alta Vista试图仿效Google方式来重新回到缩小版的搜索引擎，但是这个垂死挣扎非常痛苦地失败了，并在2003年被Yahoo收购。Inktomi也失去了好几个应用伙伴，急剧走下坡路，2004年同样被Yahoo收购，而且成为了今天Yahoo搜索的主要核心技术。
四、2002-2007年：Google Dance和SEO的不眠之夜
其实在2001年，敏感的站主和SEO实践者感觉到了一个从未有过的现象。有些人对网站在Google上的排名一夜之间消失，而有的网站则名列首位。这个现象几乎是每月一次。后来，人们知道，这就是Google定期地更新它的索引（Index）的距离活动，给人的感觉就像跳舞一样，因此被SEO实践者称为Google Dance。
正是因为有Google Dance，每个SEO实践者都在Google更新的那个晚上熬夜地看自己的SEO成果能否在Google上实现。每次更新有赢家和输家，网上SEO论坛总有成千上万的讨论，期望知道下次更新能有什么可以预料的，或者猜测更新的具体日期。
搜索引擎在这个阶段中遇到更严重的泛滥问题。SEO实践者大量采用门户网页（Doorway Page）、重复网站（Duplicate Website）、伪装网页（Cloaked Page）、隐藏链接（Hidden Links）等来试图欺骗Google。另外，DMOZ被Google作为一个重要的收录新网站的渠道，DMOZ也被注入许多垃圾网站。
2002年是大量SEO被滥用的一年。但是，搜索引擎从这些与SEO非法实践的斗争中不断丰富自己的辨别技术，对抓住的网站拒绝收录，已经收录的则给予剔除。但是这个封锁也冤枉了不少诚实的SEO网站。
在中国，百度于2001年9月开始提供公共搜索服务，并成功地使搜狐和新浪开始使用它的搜索技术。同时，它还提供新闻搜索服务，迅速扩大用户群。
2003年，越来越多的网站设计对Flash的应用有了谨慎的态度。这一年也是搜索引擎继续反击垃圾泛滥的一年。许多SEO实践者明白黑帽技术（black-hat）已经行不通，而是要扎扎实实地真正提高网站的素质。
Google在2003年更是挤掉了AltaVista和Inktomi，成为独大。Google诞生于一个搜索引擎纷杂的时代，在那个时代，像Alta Vista等搜索引擎对自己的市场份额太具信心而懒得变化。Google由各个站主和SEO实践者宣扬，从而一举后来居上。Google开始反击垃圾泛滥，矛头直接对向曾经支持它的这些站主和SEO实践者。这些人成了Google成功的牺牲品。
2003年的Google的“佛罗里达更新”（Florida Update）真是让全世界的站主领教了Google的厉害。倘若强烈飓风一般，Florida Update一夜之间让千万个网站从搜索中消失或者从前十名刮到100页以后。这个发生在11月16日的更新，尤其对寄希望在即将来临的圣诞节狠赚一笔的电子商务网站损失惨重。Google的这个更新是反击垃圾网站和不法SEO行为的一次重要战役。
然而，由于使用的过滤器（filter）不完美，冲击了很多无辜网站。之所以叫“佛罗里达更新”，是因为这个更新由Google在佛罗里达的数据中心开始的。
之后，2004年1月叫做“Austin Update”的余波同样也对相当多的网站造成冲击。霎时间，所以SEO实践者都突然摇身变成了Google Adwords的专家，大家不能不依靠Google广告来维持这段节日期间的销售。
关于这两个历史性的Google更新，给了许多SEO实践者相当大的教训。规规矩矩地从改善网站本身的素质而不是投机取巧，成为了SEO唯一可行的方法。PPC也稳定的成为营销策略中的重要手段，而SEO也成为搜索引擎营销（SEM）的一部分。
Yahoo在这个时候决定与Google正式分道扬镳。长久以来，为了弥补自己靠人工收录网站的不足，Yahoo一直采用Google的技术来提供网络搜索。Yahoo显示陆续购入Alta Vista，AllTheWeb和Inktomi公司，让人觉察到Yahoo的心情——它是否间接养大了Google？它的手上还有20%Google的股份！终于，在2004年2月16日，Yahoo出售了Google股份，正式告别Google，走上自己开发搜索引擎的道路。
同年，2004年9月12日，Google推出简体及繁体两种中文版本的搜索引擎。
进入2005年，最大的变化是Google Update不再是定期的活动，而是逐渐地成为每天的递进更新。剧烈的变化不再看见。SEO实践者能够很快看到自己的努力是否出现了效果。遵循搜索引擎的纪律，以合理的方法来调整、提高网站的结构和内容，成为唯一能够保证网站稳定的方法。更重要的是，遵循这些规范操作而优化的网站，不仅在Google上排名良好，还会在Yahoo和MSN上也具有不错的结果。中文网站，如果扎实地做好网站的素质，也会在百度的排名上获益。

https://zhidao.baidu.com/question/710058831431112845.html

匿名用户
2013-09-24
搜索引擎的发展史　　1990年以前，没有任何人能搜索互联网。 所有搜索引擎的祖先e68a84e8a2ad3231313335323631343130323136353331333332633663，是1990年由Montreal(加拿大的蒙特利尔)的McGill University学生 Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie( Archie FAQ )。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此AlanEmtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。 　　由于Archie深受欢迎，受其启发，Nevada(美国的内华达州) System Computing Services大学于1993年开发了一个Gopher(Gopher FAQ )搜索工具Veronica(Veronica FAQ )。Jughead是后来另一个Gopher搜索工具。 　　Robot(机器人)一词对编程者有特殊的意义。Computer Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序象蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider( Spider FAQ )程序。世界上第一个Spider程序，是MIT Matthew Gray 的Worldwide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址(URL)。 　　与Wanderer相对应，1993年10月 Martijn Koster 创建了 ALIWEB (Martijn Koster Annouces the Availability of Aliweb )，它相当于Archie的HTTP版本。ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。 　　随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Wanderer基础上，一些编程者将传统的Spider程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联网。到1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中最负盛名的三个是：Scotland的JumpStation、Colorado 大学Oliver McBryan的The World Wide Web Worm(First Mention of McBryan’s World Wide Web Worm )、NASA的Repository-Based Software Engineering (RBSE) spider。JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。而RBSE是第一个索引Html文件正文的搜索引擎，也是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。 　　Excite 的历史可以上溯到1993年2月，6个Stanford(斯坦福)大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目Architext，他们还发布了一个供webmasters在自己网站上使用的搜索软件版本，后来被叫做Excite for Web Servers。(注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎 Dogpile 。目前Excite隶属于Ask Jeeves公司。)　　1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy (Tradewave Galaxy)上线。除了网站搜索，它还支持Gopher和Telnet搜索。