搜索引擎发展综述
搜索引擎发展综述
李锐lirui@https://www.sodocs.net/doc/a312696862.html,
（中科院计算技术研究所北京100080）
摘要:本文简述了搜索引擎的起源和发展，介绍了国内外的研究现状，对其分类、性能评测、关键技术等方面做了一定的讨论，在此基础上对其发展趋势作了大胆的预测。
关键词:搜索引擎；Web挖掘；信息检索
Internet自诞生以来不断成长，其内容不断丰富，整个网络逐渐堆积成一个前所未有的超大型信息库。Internet作为一个信息平台在人们的日常生活和工作中发挥着越来越重要的作用，人们越来越多地通过Internet获取信息。在互联网发展初期，网站相对较少，网页数量亦较少，因而信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，以至于迷失在信息的海洋中不知所措，出现了我们所说的" 信息丰富，知识贫乏"的奇怪现象。搜索引擎正是为了解决这个"迷航"问题而出现的技术。
搜索引擎（Search Engine简称SE）是一个信息处理系统，它以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的，一般包括信息搜集、信息整理和用户查询三部分。从用户的角度来看，它就是一个帮助人们进行信息检索的工具。
1. 发展回眸
现代意义上的搜索引擎的祖先，是1990年由美国蒙特利尔大学的学生Alan Emtage等人发明的Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。
由于专门用于检索信息的Robot程序像蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider(Spider FAQ)程序。世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。
真正意义上的搜索引擎出现于1994年7月。当时Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的Lycos。同年4月，Stanford大学的两名博士生，David Filo和美籍华人杨致远（Jerry Y ang）共同创办了超级目录索引Y ahoo，并成功地使搜索引擎的概念深入人心，Y ahoo也被称为第一代搜索引擎。从此搜索引擎的发展也进入了黄金时代。1998年9月，同样是Stanford大学两位博士生Larry Page和Sergey Brin在风险投资公司的资助下，成功开发了新一代搜索引擎——Google。它具有比Y ahoo先前使用的技术更快、更准确搜索到所需信息的特点，被视为第二代搜索引擎的代表。现在Internet 上已有数千个能提供检索服务的站点,这些站点的搜索引擎在收录的范围、内容、检索方法上都各有不同,采用的技术也各具特色。比较著名的有Google,Y ahoo,AltaVista,Dogpile,百度等。目前，搜索引擎的研究、开发十分活跃，各大搜索引擎公司都在投巨资研制搜索引擎系统，同时也不断地涌现出新的具有鲜明特色的搜索引擎产品，搜索引擎已经成为信息领域的产业之一。它要用到了信息检索、人工智能、数据库、数据挖掘、自然语言理解等领域的理论和技术，具有综合性和挑战性。又由于搜索引擎有大量的用户，由此衍射出许多商机，具有很好的经济价值。根据iResearch艾瑞市场咨询《2003年中国搜索引擎研究报告》的研究数据显示，中国的搜索引擎市场2003年达到了5.2亿元人民币，比2002年的2.3亿一年增长了
127%，显示了搜索引擎市场的强劲增长；雅虎表示未来5年全球搜索市场将由今年的30亿美元增长至110亿美元。搜索引擎作为连接互联网的一座桥梁，越来越受到人们的重视，亦引起了世界各国计算机科学界、信息产业界和商界的高度关注，已投入了不少的人力、物力，也取得了不俗的成绩。
2. 分类
搜索引擎依其所用技术原理，主要可以分为以下三类：
2.1. 目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。典型代表是：Y ahoo(现已采用Robot技术)、LookSmart、Open Directory等。
2.2. 基于Robot搜索引擎：基于Robot 的搜索引擎多提供对全文的检索，有时也叫做全文搜索引擎（Full Text）。通过Robot程序从互联网上搜集信息而建立索引数据库，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。这类搜索引擎的代表是：Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等；国内代表为：百度（Baidu），"天网"、OpenFind等。
2.3. 元搜索引擎：这类搜索引擎没有自己的数据库，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行去重、排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。
除上述三大类引擎外，还有以下几种非主流形式：集合式搜索引擎、门户搜索引擎：如AOL Search、MSN Search等、免费链接列表（Free For All Links，简称FFA）等。
3. 性能指标
搜索引擎是一种互联网信息检索工具，因此对其性能评价可以参考传统型文献检索工具的质量评价标准，结合搜索引擎在信息组织加工及检索服务提供方式等内容进行；又因为它直接跟踪网络信息并面向网络信息用户，对它的评价因该立足于用户的利益立场。通俗地讲，能令大多数网络用户满意的搜索引擎就是一个好的搜索引擎。
通常情况下，我们可以从以下几个方面来衡量一个搜索引擎的性能：
3.1. 召回率（Recall）：又称查全率，指搜索引擎提供的检索结果中相关信息文档数与网络信息中存在的相关信息文档数之比, 因检索结果是在对检索需求与搜索引擎的索引数据库中的文档进行匹配后的文档集合, 这一指标也是搜索引擎对网络信息覆盖率的真实反映。3.2. 精度（Precision）：又称查准率，是搜索引擎提供的检索结果与用户信息需求的匹配程度, 也是检索结果中有效信息的文档数与搜索引擎提供的全部文档数之比。
3.3. 检索速度：又称响应时间，检索速度一般而言取决于两个因素, 即与带宽有关的网络速度及搜索引擎本身的速度, 只有在二者均获得可靠的技术支持的情况下, 才能保证理想的检索速度。
对于一个检索系统来讲，召回率和精度很难做到两全其美：召回率高时，精度低；精度高时，召回率低。对于搜索引擎系统来讲，因为没有一个搜索引擎系统能够覆盖所有的
网络资源，所以召回率很难计算。目前的搜索引擎系统都非常关心精度。对于上面的衡量方法，有其不足之处，还有其他方面的因素没能考虑，在文献[7]中以用户为导向运用层次分析法建立一个分析模型，文献[8]中提出了一些较好的衡量方法。影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制。
另外，我们可以从对搜索引擎的功能要求角度对它进行评价。在笔者看来，一个理想的搜索引擎系统应该具备以下功能要求：
①涵盖较多的互联网资源，资源更新周期不是很长，对于某些特殊信息可以实时更新，这些是查全率的保障之一。
②具备尽可能多的可选择功能，如资源类型（网站、网页、新闻、软件、FTP、MP3、Flash、图像、影视等）选择、等待时间控制、返回结果数量控制、结果时段选择、过滤功能选择、结果显示方式选择等。
③强大的检索请求处理功能（如支持逻辑匹配检索、短语检索、自然语言检索等）。
④详尽全面的检索结果信息描述（如网页名称、URL、文摘、结果与用户检索需求的相关度等）。
⑤支持多种语言检索，比如提供中英文搜索等。
⑥可对结果进行自动分类，如按照域名、国别、资源类型、区域等进行分类整理。
⑦可以针对不同用户提供个性化服务。
4. 原理和关键技术
当今搜索引擎的主流是基于Robot的网页搜索系统，本文主要叙述这方面的技术。搜索引擎的原理，可以看作三步：从互联网上抓取网页→ 建立索引数据库→ 在索引数据库中搜索排序。
①从互联网上发现、搜集有用网页信息
利用高性能的Spider程序去自动地在互联网中搜索信息。一个典型的"网洛蜘蛛"工作的方式，是查看一个页面，并从中找到相关信息，然后它再从该页面的所有URL中出发，爬行到相关页面，重复这过程，直到把爬过的所有网页都收集回来。搜索引擎的Spider一般要定期重新访问所有网页，更新网页索引数据库，以反映出网页文字的更新情况。
②将收集到的信息进行分类整理，建立索引数据库
由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。
③用户检索过程
当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
上面简述了搜索引擎的工作原理，从这里不难看出搜索引擎的基本构成：搜索器、索引器、检索器和用户接口等。下面介绍几种与之相关的关键技术：
① Robot技术，网络机器人Robot（通常也称为网络蜘蛛Spider、爬行者Crawler等）可以用在针对互联网的数据统计、数据搜索、链接维护等方面。搜索引擎中的网络机器人主要完成两个功能，即分析、获取互联网的链接和读取各链接所对应的网页内容。Robot 从一个事
先制定好的URLs列表出发, 在访问了一个网页后,会对它进行分析,提取出新的URLs ,将之加入到访问列表中,如此递归地访问Web。Robot 设计是否合理将直接影响它访问Web 的效率,影响搜索数据库的质量。Robot的实现常用分布式、并行计算技术，以提高信息发现和更新的速度。
②索引技术，Robot采集回来的文档信息要被用来建立索引数据库。索引的建立方法对搜索引擎来说具有很大的影响，好的索引能提高搜索引擎系统运行的效率以及检索结果的质量。可以说索引技术是搜索引擎中的核心技术, 是搜索技术高低的集中体现。其中很重要的是文本分析技术，这是索引器的主要支撑技术。文本分析所研究的内容包括提取索引项、自动摘要、自动分类器、文本聚类等。文本分析所依据的主要是文本中所包含的词汇、超文本标记和超链接。
③信息检索和排序技术，搜索的最终目的是获取需要的信息，在大量的信息中进行查找是很讨厌的一件事情，很难做到令人满意。即使是在现实生活中，面对一大堆自己辛辛苦苦找来的资料时，你往往会发现并不是所有的资料都有用。目前搜索引擎所实现的只是通常意义上的相关信息搜索。常用的相关信息查找方法有相似性函数法、归类（组）法等。在这一研究领域有两种比较有影响的方法，就是Page Rank方法和Authority and Hub方法。这两种方法都是利用页面中的链接来对文档的重要性进行判断。
④用户接口设计，用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。一般搜索引擎都提供基本检索和高级检索两个接口。基本检索接口只提供用户输入关键字的文本框，有的可以在这里输入一些复杂的查询表达式，不过这个只适用于那些搜索专家；高级检索接口可以让用户对查询进行限制，如逻辑运算（与、或、非）、相近关系（相邻、NEAR）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。
5. 发展趋势
经过了多年的发展之后,现在的搜索引擎功能越来越强大,提供的服务也越来越全面据。研究者统计, 目前互联网上的搜索引擎已达数千种, 仅中文搜索引擎就达上百种，可谓是百花争艳。然而随着WWW信息的急剧增加，目前的搜索引擎存在界面不够友好、响应时间长、死链接过多、结果中重复信息及不相关信息过多等问题，难以满足人们的各种信息需求，搜索引擎将向智能化、个性化、精确化、专业化、交叉语言检索、多媒体检索等适应不同用户需求的方向发展。
5.1. 智能化的搜索引擎：它是未来搜索引擎的发展方向，被称作是"第三代搜索引擎"，在这方面中国搜索走在了前面，已经推出了此类搜索引擎供用户试用。搜索引擎的智能化体现在两方面：一是对搜索请求的理解，二是对网页内容的分析。它利用智能代理技术对用户的查询计划、意图、兴趣方向进行推理，自动进行信息搜集过滤，自动地将用户感兴趣的、对用户有用的信息提交给用户。这其中也包含了对服务多项化、个性化，结果精确化，交叉语言检索等方面的功能。
5.2. 重视查询结果的精度，提高检索的有效性：解决查询结果过多的现象目前有以下几种方法：a) 构建基于内容的搜索引擎。基于内容的搜索不是根据字形，而是试图理解用户的请求，同时根据文档的内容选出符合用户要求的文档。即通过各种方法获得用户没有在查询语句中表达出来的真正用途，实现自然语言的智能查询功能。当前比较成熟的解决方案是依靠语义网络、汉语分词、句法分析、处理同义词等中文信息处理技术最大程度地了解用户需求。b) 将用户提问转化为系统已知的问题，然后对已知问题进行解答，以求降低对自然
语言理解技术的依赖性。c) 用正文分类技术将结果分类，使用可视化技术显示分类结构，用户可以只浏览自己感兴趣的类别。d) 进行站点类聚或内容类聚，减少信息的总量。e)让用户对返回结果进行选择，进行二次查询是一种非常有效的手段。
5.3. 实现交叉语言的检索：搜索引擎对多种语言的数据库进行交叉语言信息检索，返回能够回答用户问题的所有语言的文档。若配上机器翻译，就可使返回结果以用户熟悉的语言显示。虽然该技术目前还处于初步研究阶段，其难点在于语言之间在表达方式和语义对应上的不确定性，但其确是发展方向。
5.4. 提供对自然语言检索的支持：为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言，为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。如Google有专用于回答问题的Google Answer，微软有AnswerBot等。用户可以输入简单的疑问句，比如"how can kill virus of computer?"。搜索引擎在对提问进行结构和内容的分析之后，或直接给出提问的答案，或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用"virus"这个词来检索，结果中必然会包括各类病毒的介绍、病毒是怎样产生的等等许多无效信息，而用"how can kill virus of computer?"，搜索引擎会将怎样杀病毒的信息提供给用户，提高了检索效率。
5.5. 多媒体搜索引擎：网络资源丰富多彩，具有很多类型的信息，用户需要的信息也不完全是网页的形式，从用户的角度来看，必然要求搜索引擎能够覆盖更多的网络资源。现在有很多搜索引擎已经提供了网页、新闻、图片、音乐等资源搜索，当然范围还可以更广，再如可以搜索新闻组、软件、FTP、Flash、论文等等。
5.6. 专业化搜索引擎：是为了专门收录某一行业、某一学科、某一主题和某一地区的信息而建立，非常实用，如有商务查询、企业查询、人名查询、电子邮件地址查询和招聘信息查询等等。这种专业化的搜索引擎是将来的方向之一。
5.7. 桌面型搜索引擎：这类引擎实际上是一个软件，下载安装后放在电脑桌面上，用户不用频繁打开浏览器，而是直接通过只要通过它就能完全实现搜索过程，更甚者它可以同时搜索本地、局域网和互联网上的信息。它完全越过传统的搜索模式，越过浏览器，真正实现让搜索无处不在。搜索引擎脱离浏览器是一个发展趋势，Google、Y ahoo等都有计划地推出属于自己的桌面型搜索软件，而微软同样打算把搜索设计到桌面上。国内有中国搜索推出的"网络猪"软件可用。
此外还有一些其它值得注意的技术发展，如元搜索引擎，移动代理和XML技术，语音检索技术等。随着技术的不断发展进步，搜索引擎将会成为一个人们网际遨游的好帮手。
6. 参考文献
[1] 李晓明,刘建国搜索引擎技术及趋势
[2] 搜索引擎直通车搜索引擎发展史https://www.sodocs.net/doc/a312696862.html,/about/about.htm
[3] 博客中国前生今世——搜索引擎发展史https://www.sodocs.net/doc/a312696862.html,/new/source/130.html
[4] 庄毅,黎浩宏引擎技术现状及发展动向计算机时代2002年第8期
[5] 王红梅,朱洪秀,王凌对中文搜索引擎未来发展的探讨东北电力学院学报2001年12月第21卷第4期
[6] 张晓刚,李明树智能搜索引擎技术的研究与发展计算机工程与应用2001年第24期
[7] 马彪,李恒搜索引擎的性能评价新世纪图书馆2003年第6期
[8] 凤元杰,刘正春,王坚毅搜索引擎主要性能评价指标体系研究情报学报2004年2月第23卷第1期
[9] 凌美秀关于搜索引擎当前存在的主要问题及其发展趋势的探讨高校图书馆工作2001年第5期第21卷
[10] 蔡瑞平,钟哲释搜索引擎的检索功能特征及技巧图书与情报2003年4月
[11] 彭洪汇,林作铨Internet上的搜索引擎和元搜索引擎计算机科学2002 V ol. 29 No. 9
[12] 李远明试析搜索引擎技术及其未来发展趋势情报检索2002 No.7
[13] 卢世光,丁方忠搜索引擎使用技术回顾和发展趋势探讨广东通信技术2002 V ol.19 No.5
当今搜索引擎技术及发展趋势
当今搜索引擎技术及发展趋势 随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就象大海捞针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。 搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9T，并且仍以每4个月翻一番的速度增长。用户要在如此浩瀚的信息海洋里寻找信息，必然会“大海捞针”无功而返。搜索引擎正是为了解决这个“迷航”问题而出现的技术。 搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。 一、分类 按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：“天网”、悠游、OpenFind等。 3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。 二、性能指标 我们可以将WEB信息的搜索看作一个信息检索问题，即在由WEB网页组成的文档库中检索出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率（Recall）和精度（Pricision）衡量一个搜索引擎的性能。 召回率是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统（搜索引擎）的查全率；精度是检索出的相关文档数与检索出的文档总数的比率，衡量的是检索系统（搜索引擎）的查准率。对于一个检索系统来讲，召回率和精度不可能两全其美：召回率高时，精度低，精度高时，召回率低。所以常常用11种召回率下11种精度的平均值（即11点平均精度）来衡量一个检索系统的精度。对于搜索引擎系统来讲，因为没有一个搜索引擎系统能够搜集到所有的WEB网页，所以召回率很难计算。目前的搜索引擎系统都非常关心精度。 影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制
第四代搜索引擎前沿综述
第四代搜索引擎前沿综述 刁轶夫3061401080 2010年5月 1．介绍 随着因特网的普及，网上信息的发展呈现两个基本的趋势：规模的爆炸性增长，覆盖领域的不断扩大。如何在海量，非结构化信息中，提取对用户有用的信息是信息时代的核心课题。搜索引擎正是通过对信息的自动搜集，索引，在用户发出请求时经过实时排序，为用户呈现其最有价值的信息。 由搜索引擎衍生而来的关键词广告产生了巨大的商业价值，并造就了谷歌、百度等互联网巨头。但同时，谷歌以pagerank为核心的第三代搜索引擎已经不能满足日益增长的需求，数据量的增长和数据覆盖范围的增加迫切呼唤第四代搜索引擎。 我认为，第四代搜索将把个性化信息及人际推荐关系叠加到链接分析上，大大改善搜索结果排序效果；同时，跨媒体搜索将实现诸如用图片搜索图片等功能，打通文字，图片，视频，声音的界限，颠覆现在全部基于关键字的搜索方法，为用户带来更加直观的搜索体验。 2．搜索引擎发展历史及趋势 2.1 搜索引擎发展历史 从Lycos和Yahoo的时代到现在，搜索引擎的发展已经经过了三代。Andrei[1]的文章中对前三代搜索引擎的特征做了描述： Google经过改进Pagerank和一系列技术，演化至第三代，而第四代搜索引擎有大量公司如Cuil,Quora探索，但还未形成成熟的产品。 下图援引自Google创始人论文[2]，说明第二代，第三代搜索引擎的主要原理： 首先搜索引擎通过爬虫技术（Crawler），根据网页链接爬取互联网内容；然后建立倒排索引(Inverted Index)；同时通过Pagerank技术，基于random walk的思想计算出每个网页的Pagerank。前面几步都是独立于用户查询进行的。当用户提交查询关键词后，搜索
搜索引擎原理及发展趋势
1 南昌航空大学 Nanchang Hangkong University 毕 业 论 文 题目 _搜索引擎原理及发展趋势__________________ 学院 _江西工业工程职业学校 _____________________ 专业 __________计算机网络________________________ 姓名 周文飞___________学号 036811100078 指导老师 李国忠______________职称________________ __2012__年_5__月_5_ 日 _
目录 第一章搜索引擎的概述 3 1.1 搜索引擎3 1.2 搜索引擎的发展史3第二章搜索引擎基本常识9 2.1 搜索引擎工作原理9 2.2 搜索引擎分类9 2.3 全文搜索引擎10第三章使用搜索引擎的一些基本规则和技巧12 3.1 搜索引擎的一些基本规则12 3.2 搜索引擎的一些基本技巧12第四章搜索引擎的评测16 4.1搜索引擎缺陷16 4.2搜索速度16第五章搜索引擎的未来发展动向及趋势18 5.1搜索引擎的未来发展动向18 5.2搜索引擎趋势19 结束语23致谢24参考文献25 2
第一章搜索引擎的概述 1.1 搜索引擎 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 1.2搜索引擎的发展史 互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。 1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。 起源 所有搜索引擎的祖先，是1990年由Montreal的McGill University三名学生（Alan Emtage、Peter Deutsch、Bill Wheelan）发明的Archie（Archie FAQ）。Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。发展（1） Excite 的历史可以上溯到1993年2月，6个Stanford University（斯坦福大学）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目，他们还发布了一个供 3
搜索引擎的种类与使用的技巧
搜索引擎的种类与使用的技巧 [摘要]随着信息技术的发展,网络的迅速普及,搜索引擎在网络用户的生活中扮演着越来越重要的地位,了解并能熟练使用搜索引擎成为大众的必修课。对搜索引擎的基本知识和种类作简要介绍,并结合亲身实践介绍几种实用的搜索技巧。 [关键词]搜索引擎种类技巧 一、搜索引擎概述 搜索引擎是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息,在对信息进行组织和处理后,为用户提供检索服务的系统。它主要是用于检索网站、网址、文献信息等内容。随着网络技术的发展,各种搜索引擎层出不穷,目前流行的搜索引擎主要是帮助用户搜索表层信息,如google、百度、雅虎等。 二、搜索引擎的分类 目前,主流的搜索引擎有如下几类: (一)全文索引 根据搜索结果来源的不同,全文搜索引擎可分为两类,一类拥有自己的检索程序(Indexer),俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序,能自建网页数据库,搜索结果直接从自身的数据库中调用,上面提到的Google和百度就属于此类;另一类则是租用其他搜索引擎的数据库,并按自定的格式排列搜索结果,如Lycos搜索引擎。
(二)目录索引 目录索引虽然有搜索功能,但不能称为真正的搜索引擎,只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息,不依靠关键词进行查询。目录索引中最具代表性的是Yahoo、新浪分类目录搜索。 (三)元搜索引擎 元搜索引擎接受用户查询请求后,同时在多个搜索引擎上搜索,并将结果返回给用户。着名的元搜索引擎有InfoSpace、Dogpile等。中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面,有的直接按来源排列搜索结果,如Dogpile;有的则按自定的规则将结果重新排列组合,如Vivisimo。 三、搜索引擎使用技巧 (一)关键词的选择 目前搜索引擎不具备智能识别能力,较人脑而言还很“弱智”,往往不能很好地把握用户到底想要什么,只会在现成的数据库索引中查找相匹配的关键词。因此,选择合适的关键词是成功检索的第一步。关键词的选择虽然没有什么定式,不过也有一些规律可循,在提取关键词时力求做到规范,避免口语化,便能达到事半功倍的效果。此处用特殊实例来说明: 2.使用多个含义相近的关键词。对于热门信息来说,搜索时犯愁的是返回条目太多,可对冷门事件或事物来说往往恰恰相反。此时可使用同义关键词和关联关键词来检索,以达到更全面的搜索结果。如:在学术部门的年轻人想查阅申报课题的技巧时会发现相
全文搜索引擎的设计与实现(文献综述)
全文搜索引擎的设计与实现 前言 面对海量的数字化信息，搜索引擎技术帮助我们在其中发现有价值的信息与资源。我们可以通过google、百度这样的搜索引擎服务提供商帮助我们在Internet上搜索我们需要的信息。但是在一些没有或不便于连入Internet的内部网络或者是拥有海量数据存储的主机，想要通过搜索来发现有价值的信息和资源却不太容易。所以开发一个小型全文搜索引擎，实现以上两种情况下的信息高效检索是十分有必要的。本设计着眼于全文搜索引擎的设计与实现，利用Java ee结合Struts,Spring,Hibernates以及Ajax等框架技术，实现基于apache软件基金会开源搜索引擎框架Lucene下的一个全文搜索引擎。 正文 搜索引擎技术起源1990年，蒙特利尔大学学生Alan Emtage、Peter Deutsch和Bill Wheelan出于个人兴趣，发明了用于检索、查询分布在各个FTP主机中的文件Archie，当时他们的目的仅仅是为了在查询文件时的方便，他们未曾预料到他们的这一创造会成就日后互联网最的广阔市场，他们发明的小程序将进化成网络时代不可或缺的工具——搜索引擎。1991年，在美国CERFnet、PSInet及Alternet网络组成了CIEA （商用Internet 协会）宣布用户可以把它们的Internet子网用于商业用途，开始了Internet商业化的序幕。商业化意味着互联网技术不再为科研和军事领域独享，商业化意味着有更多人可以接触互联网，商业化更意味着潜在的市场和巨大的商机。1994年，Michael Mauldin推出了最早的现代意义上的搜索引擎Lycos，互联网进入了搜索技术的应用和搜索引擎快速发展时期。以上是国际互联网和搜索引擎发展历史上的几个重要日子。互联网从出现至今不过15年左右时间，搜索引擎商业化运作也就10年左右。就在这短短的10年时间里，互联网发生了翻天覆地的变化，呈爆炸性增长。于此同时也成就了google、百度这样的互联网巨头。今天，当我们想要在这片广阔的信息海洋中及时获得想要查找的信息时，已经离不开搜索引擎了。 相关技术
搜索引擎推广试题一
湖南省高等职业院校电子商务专业技能抽考试题 考试模块：网络推广考核项目：搜索引擎推广 考试时间：60分钟试题编号：2-2-1 背景资料： 多喜爱家饰织用品有限公司（https://www.sodocs.net/doc/a312696862.html,/）是一家以专业设计生产和销售床上用品为主，产品涉及被套、床笠、床单、床裙、枕套、被芯、枕芯、婚庆产品、垫类产品、床具等。公司营销中心设在中国湖南长沙市，开发中心及生产企业等在广东省深圳市东莞市。目前，多喜爱公司公司拥有自营店近200家，加盟店800余家，遍及全国各地，是行业内发展速度最快的企业之一。同时公司也积极入驻各大时尚电子商务商务生态圈，开展网络销售，积极进军电子商务领域。为了扩大公司和公司网站的知名度，公司打算采用搜索引擎推广来进行公司网站推广。 请帮助其完成搜索引擎推广过程中相关任务的实施。 测试任务： (1) 将公司网址提交到搜索引擎。为了利用搜索引擎进行推广，必须首先将公司网址https://www.sodocs.net/doc/a312696862.html,/提交给各大搜索引擎。请写出Badu和yahoo 提交网站的入口地址，并将公司地址提交到百度、雅虎中，并将提交成功的返回结果截图填写在下表。 表1 目标地址提交到Baidu & yahoo的成功结果截图
（2）检查搜录情况。检查baidu是否成功搜录了公司的网站地址？并将检查结果通过截图的方式填写到表2 表2 baidu搜录公司网址检查结果表 （3）公司网站目前被搜索引擎收录基本情况调查。为了了解公司网站目前在各大搜索引擎中的搜录情况，便于今后进行的网站优化推广。请完成表3。并根据表3将操作的步骤进行截图，填写到表4中。 表3 网站的收录情况、反向链接数、PR值、Ａlexa排名结果 表4查询结果过程记录表
搜索引擎的现状和发展趋势
期末课程论文 论文标题：搜索引擎的现状与发展趋势 课程名称：信息检索技术 课程编号：1220500 学生姓名：潘飞达 学生学号：1100310120 所在学院：计算机科学与工程学院 学习专业：计算机科学与技术 课程教师：王冲 2013年7月1 日
【摘要】 搜索引擎包括图片搜索引擎、全文索引、目录索引等，其发展历史可分为五个阶段，目前企业搜索引擎和网站运营搜索引擎运用范围较广。在搜索引擎的未来发展中，呈现出个性化，多元化，智能化，移动化，社区化等多个趋势。 【关键词】 发展过程、发展趋势、检索技巧、个性化、智能化 1 搜索引擎简介 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 其工作作原理分为抓取网页，处理网页和提供检索服务。 抓取每个独立的搜索引擎都有自己的网页抓取程序，它顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。 搜索引擎是根据用户的查询请求，按照一定算法从索引数据中查找信息返回给用户。为了保证用户查找信息的精度和新鲜度，搜索引擎需要建立并维护一个庞大的索引数据库。一般的搜索引擎由网络机器人程序、索引与搜索程序、索引数据库等部分组成。 系统结构图 2搜索引擎的工作原理 第一步：爬行 搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛WWW 文档 网络机器人程序 建立Lucence 索引 从数据库中搜索信息 Tomcat 服务器 Lucence 索引数据库 WWW 浏览器 WWW 浏览器 JSP 网络机器人程序
[基于,搜索引擎,SIVA]基于搜索引擎的“SIVA”网络营销理论模型的应用研究
基于搜索引擎的“SIVA”网络营销理论模型的应用研究 基于搜索引擎的“SIVA”网络营销理论模型的应用研究 信息技术的到来改变了营销环境，需要建立一种新的由消费者主导的交互市场营销体系。传统的以线性的输出营销系统，都是基于内部驱动的品牌传播方法，而现在，消费者决策体系已由线性变成网状，选择由单一的点变成立体的面，因此，必须建立一种全新的以消费者为核心的交互式的营销模型来适应当今的大数据时代。 一、前言 回顾过去几十年营销理论的发展，从当年的4P理论到逐渐意识要与消费者沟通的4C、4R理论的发展，表明了营销体系的不断推进，消费者的地位不断被提升。要以消费者为中心，要了解消费者真正的需求，要实现与消费者对话，营销者就要不断努力地接近消费者， 改变营销策略，从说服转为倾听，希望能从消费者口中找到营销的最佳时机。 互联网的发展，特别是搜索引擎的出现，让越来越多的企业真正从消费者的心声中发现了商机。LANCOME兰蔻于1935年诞生于法国，兰蔻品牌已发展成为全法国第一和全世界第二 的世界知名化妆品牌。兰蔻以聚集了中国95%以上网民的百度搜索营销平台为基础，将关 键字投放、品牌专区、关联广告、精准广告等不同营销形式有机地整合在一起，各个营销环节层层相扣，全方位开展了网络营销活动。如若有消费者在百度搜索上敲下“兰蔻”两个字搜索关键词栏目即出现包含“兰蔻”的若干主题词。这些主题词与兰蔻产品或品牌的相关性极高，消费者可以从这些主题词的链接中找到自己想要的信息和解决方案。 而在当今的大数据时代，消费者的信息与需求源源不断地涌向互联网这个大口袋里，为企业品牌提供了巨大的机会与便利。消费者与企业双方依托搜索平台进行对接，期待最契合的连接点，相互得到满足。 二、搜索引擎 中国现在有5.64亿网民，4.2亿手机用户，每天在百度上的搜索请求超过50亿次《中国互 联网发展状况统计报告》（2013年1月，第31次）。根据全球最大的网络调查公司CyberAt las的调查表明，网站75%的流量都是来自于搜索引擎。 1.搜索引擎的定义 搜索引擎是指一种基于Internet上的信息查询系统，包括信息存取、信息管理和信息检索。搜索引擎便于网民获取有效信息，成为网民最喜爱的网络信息采集渠道，同时也有利于企业以较低的成本获得较高的信息传播效率，成为企业产品和服务推广的主要手段。 2.搜索引擎的营销功能 （1）对潜在客户的精准定位
国内外著名搜索引擎介绍
七、 国内外著名搜索引擎介绍 教学目的 掌握常见搜索引擎的使用方法与技巧 教学内容 1、搜索引擎介绍 1.1搜索引擎发展 十几年前，WWW（World Wide Web，万维网）还没有诞生的时候，互联网上只有冰冷的 文字，没有图像和声音，而且网站数量也不多，感兴趣的网站就那么几个，可以在很短 的时间内就掌握其中的全部信息，搜索引擎完全没有出现的必要。1993年，互联网上出 现了最早的Web浏览器Mosaic，次年Netscape推出了Navigator。浏览器的发展促使 Web得到迅速推广，站点数目以惊人的速度增加，我们再也不能用传统记忆方式来应付 与日俱增的站点。于是，搜索引擎就诞生了。第一个搜索引擎的出生地在美国，它的名 字叫Archie,是由McGill大学的一个小组开发的。 1.2搜索引擎工作原理 利用自动搜寻软件，不断发现与收集各类新网址及网页，利用自动索引软件对网页进行 标引，建立记录的数据库。当用户输入提问关键词之后，以不同的检索方法在其数据库中找 出相关的记录，并按相关性顺序排列，将包含此关键词或符合检索条件的所有网址信息和指 向这些网址的链接反馈给用户，从而实现查询目的。简单地说，搜索引擎的原理，可以看作 三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 1.3搜索引擎如何排列Web页面 依据是"位置/频率法"。 1.4搜索引擎词语介绍 简单搜索；词组搜索；语句搜索；目录搜索；高级搜索； 1.5搜索引擎的类型 按搜索引擎获取信息的不同：独立搜索引擎；元搜索引擎；网络搜索软件。 按组织信息的方式：目录搜索引擎；全文搜索引擎；分类全文型搜索引擎；智能搜索引擎。 按服务对象和规模：综合门户搜索引擎；垂直搜索引擎。 2、综合性搜索引擎 在互联网发展的最初阶段，网民在各项活动中的主要浏览对象几乎都是综合性的网站（或称 为门户性网站），所谓综合，指其提供信息与服务的范围广泛，从新闻、讨论组、免费信箱、 下载软件到图片的搜索，不固定在专一知识领域，涉及多种主题内容。 2.1 Google Google是一个搜索引擎，由两个斯坦福大学博士生Larry Page与Sergey Brin于1998年 9月发明，Google Inc. 于1999年创立。2000年7月份，Google替代Inktomi成为Yahoo 公司的搜索引擎，同年9月份，Google成为中国网易公司的搜索引擎。98年至今，GOOGLE 已经获得30多项业界大奖。 GOOGLE基本搜索 Google支持大多数的搜索基本语法规则，比如‘ AND’、 ‘OR’、‘-’，Google无需用 明文的‘AND ’来表示逻辑‘与’操作，只要空格就可以了；Google用减号‘-’表示逻 辑‘非’操作；Google用大写的‘OR’表示逻辑‘或’操作； ·不区分英文字母大小写，所有的字母均当作小写处理； ·Google不支持通配符，如‘*’、‘?’等；
百度搜索点击模型简介
百度搜索点击模型简介 用户的搜索点击模型(Click Model)其实是一个非常大的话题，涉及到用户查询满意度的建模和分析。 百度真实网页权重里有一个satisfyScore(满意度打分)，所以搜索点击行为不仅是提升点击权重，连带提高满意度权重。 在今天的搜索引擎技术中，通过Click Model 衍生出了众多的功能，包括搜索满意度的自动监控、搜索结果的自动调权调序等。 这里提到了搜索点击模型会自动改变排名。 而这些技术的出发点都是User Behavior(用户行为)数据。 在Session 信息(a search session 一次搜索周期信息)里，用户的点击行为往往能提供丰富的信息： 百度网页搜索一次完整的搜索周期包含大量信息，有查询词，搜索结果的标签，标题，链接，高度、宽度，模版，排名，数据策略ID，点击校验参数，时间戳，官网认证标识，何种搜索结果，随机样本ID，查询ID，付费名，是否百度首页，是否登录百度账号，搜索形式，搜索框位置，字符编码，输入耗时等几十项信息。 1.在搜索结果从上至下被用户浏览的过程中，当被点击的结果中间出现了跳跃，例如 Query1(第1次搜索)对应的自然排序结果是Result1(第1个结果), Result2(第2个结果), Result3(第3个结果)…,但是如果大量用户的点击是Result1, Result3, 则Result2 的相关性可能存在问题；意思是点击第1、3个结果，不但可以提升第1、3个结果的权重，还可以降低第2个结果的权重。所以对付竞争对手快速点击一个办法是大量点击其他结果。 2.另外一种情况是，如果同一个Query 产生了一次点击后，间隔一段时间后再次出现 了对后面结果的点击，则也许说明了之前结果的满足度不够高。 3.一种在搜索结果页降低竞争对手满意度权重的方式，先点击对方的结果，隔段时间 再点自己网站的结果。 4.在同一个Session 里，用户发生主动Query 变换(或称为Query Re-write)也往往能 说明问题，前面的Query 如果搜索结果质量不高，则很多用户会选择修改查询词，此时前面被点击的Title(搜索结果标题)重要程度往往不如后续的Title，等等各类场景很丰富。 5.另一种一石二鸟的办法是先搜索一个竞争对手排名好的关键词，点了之后，更换另 一个自己网站的相关词点击，亦可降低对方网站的满意度。 以上各类的Click Model 思想虽然在实际线上系统中被广泛运用，但竞赛中没有提供更详细的信息，包括点击结果在搜索中的排序(对于分析点击模型至关重要)、点击发生的时间、点击停留间隔、用户的Cookieid/Userid(暂存用户信息ID/用户ID)等，限制了
搜索引擎公司规划与开发
搜索引擎公司电子商务网站规划与开发 一、电子商务应用现状分析 在中国，搜索引擎成为被企业认可的网站推广手段之一，是网络营销服务商最主要的服务内容。中小企业成为搜索引擎营销最活跃的群体，大型企业也开始关注搜索引擎营销策略。经历了2005年的繁华之后，中国搜索引擎市场规模呈稳步增长之势。2006年中国搜索引擎市场规模达到16.6亿元，较2005年实现了40.6%的增长。这是中国搜索引擎市场连续三年增幅超过40%，前两年的增幅分别为53.7%和42.2%。而2007年中国搜索引擎市场更是以76.5％的高速增长达到了29.3亿元的规模。据《2007中国搜索引擎市场年度综合报告》预计，2010年中国搜索引擎厂商的收入将达到45.21亿。到2010年时搜索引擎用户数将突破2.5亿，比2002年时翻了6.8倍。但是搜索引擎营销服务市场仍以搜索引擎广告产品销售为主，基于自然搜索排名的搜索引擎优化市场非常混乱，搜索引擎营销的应用尚处于较低层次。此外，中国搜索引擎服务市场还存在着进入成本高，产品同质化现象严重，行业内部竞争激烈等诸多问题。 二、网站建设目的 本公司立足于消费类电子产品搜索引擎行业。以提供消费类电子产品搜索为核心业务，本公司将自主研发的数据库系统，收录全国范围内销售的最全面的消费类电子产品的信息，这些信息将包括，产品的配置、性能指标、各地经销商、市场报价及在网上购买该产品的链接等。为消费者提供，第一时间，最全面、最快捷、最权威的消费类电子产品的详尽资料及各地经销商报价并为客户提供产品网上订购服务。为了方便用户了解消费类电子产品的专业术语，本公司还将建立一个知识搜索数据库，在知识数据库中，用户可通过输入技术术语关键词获得相关术语的通俗解释。同时，我公司还将根据在我
搜索引擎论文
搜索引擎发展状态及未来趋势 【摘要】 搜索引擎包括图片搜索引擎、全文索引、目录索引等，其发展历史可分为五个阶段，目前企业搜索引擎和网站运营搜索引擎运用范围较广。在搜索引擎的未来发展中，呈现出个性化，多元化，智能化，移动化，社区化等多个趋势。 【关键词】 发展起源、索引、数据库、网站运营、未来趋势 【参考文献】 《个性化搜索引擎原理与技术》《搜索引擎的设计与实现》搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。其工作作原理分为抓取网页，处理网页和提供检索服务。抓取每个独立的搜索引擎都有自己的网页抓取程序，它顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。 搜索引擎的发展起源可以追溯到第一个Gopher搜索工具Veronica。后来的搜索引擎的发展分为五个阶段。第一阶段，出现World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统
计互联网上的服务器数量，后来则发展为也能够捕获网址。第二阶段，出现了以概念搜索闻名的Excite以及元搜索引擎Dogpile。第三阶段，即yahoo的出现。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。Yahoo以后陆续有Google等提供搜索引擎服务，但不可否认的是，Yahoo几乎成为20世纪90年代的因特网的代名词。第四阶段，一种新的搜索引擎形式出现了，即元搜索引擎。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第五阶段的代表是智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。 搜索引擎目前包括图片搜索引擎、全文索引、目录索引、元搜索引擎、垂直搜索引擎等。全文索引引擎是名副其实的搜索引擎，国外代表有Google，国内有百度、搜狐等。它们从互联网提取各个网站的信息，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。搜索引擎的自动信息搜集功能分为定期搜索和提交网站搜索。它的特点是搜全率比较高。目录索引，就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。与全文搜索引擎相比，目录索引有许多不同之处。首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。其次，搜索引擎收录网站时，只要网站本身
我国搜索引擎评价研究的现状_问题及对策_马志杰
我国搜索引擎评价研究的现状、问题及对策* 马志杰 【摘要】从评价指标、评价方法、评价对象、评价主体四个方面对我国搜索引擎评价研究进行总结和分析，指出其存在研究团队薄弱；理论基础薄弱，缺乏创新性；实践活动薄弱，缺乏实证研究；绩效评价研究较少；综合评价方法不太成熟等问题。为促进该研究，应坚持定性与定量相结合的发展方向；坚持用户导向开展搜索引擎评价工作；坚持理论与实践相结合，加强实证研究与创新研究；建立权威的搜索引擎评价组织；加强绩效评价。 【关键词】搜索引擎评价指标评价方法 Abstract：This paper summarizes and analyzes the research to the field of search engine evaluation from the aspects of evaluation index，evaluation methods，evaluation objects and evaluation subjects.And then it points out the main problems in the current search engine evaluation study，including weak research team；weak theoretical foundation，lack of innovation；weak practical activities，the lack of empirical research；less study of performance evaluation；less mature comprehensive evaluation method.To promote the research，it should be taken to adhere to the combination of qualitative and quantitative development direction，persist in the user-oriented search engine evaluation，uphold the theory and practice combine to strengthen empirical research and innovation research，establish the authoritative evaluation organization，and strengthen performance evaluation. Key words：search engine evaluation index evaluation method 随着互联网的迅速发展，搜索引擎已经成为互联网上访问全球信息资源的最重要的检索工具。搜索引擎的出现及其日益显著的重要性促进了关于搜索引擎的评价研究的发展。国内搜索引擎评价研究已经成为搜索引擎研究领域的一个热点问题，取得了一定的成果，然而也存在着一些不足。笔者现从评价的指标、方法、对象、主体4个方面就搜索引擎评价研究发展状况做出全面、系统的总结和分析，并在此基础上，深入探讨当前搜索引擎评价研究中存在的主要问题和发展策略。 1搜索引擎评价研究发展状况 1.1搜索引擎评价指标 1995年开始，国内开始了对搜索引擎进行比较和评价，但是由于搜索引擎自身的功能和规模问题，以及缺少搜索引擎评价技术的支持，对搜索引擎的评价、比较绝大多数仍然以定性描述为主［1］［2］［3］［4］。这种评价方法局限于对单个搜索引擎各因素的描述和某几个搜索引擎之间的比较，却不能从整体上评价各搜索引擎的优劣。 随着搜索引擎评价研究的发展，国内出现了成套的整体性的搜索引擎体系评价研究。1997年，曾民族在综合国内外搜索引擎评价研究成果的基础上首次提出了一个综合性的搜索引擎评价指标体系，其中包括数据库规模和内容（覆盖范围、索引组成、更新周期）、索引方法（自动、人工索引，用户登录）、检索功能（布尔检索（含嵌套）、截词检索、字段检索、大小写有别、概念检索、词语加权、词语限定、特定字段限定、缺省值、中断退出、重复辨别、上下文关键词、查询集操作）、检索结果（相关性排序、显示内容、输出数量选择、显示格式选择）、用户界面（帮助文件、数据库和检索功能说明、查询举例）、查准率和响应时间7个方面的指标。这是国内最早的有关搜索 11 RESEARCH ON LIBRARY SCIENCE *本文系国家社科基金青年项目“网络信息资源的绩效评估体系研究”（项目编号：09CTQ029）的研究成果之一。DOI:10.15941/https://www.sodocs.net/doc/a312696862.html,ki.issn1001-0424.2013.04.007
六大搜索引擎的比较
一、界面、广告以及速度搜索引擎在我们日常操作中的使用频率非常高，大家使用它的目的都非常明确，就是用它来搜寻需要的内容，而不会为搜索引擎的页面做过多的停留，因此搜索引擎的界面设计和速度就对我们的使用产生不小的影响，下面来看看这六款搜索引擎在界面和速度上的表现。谷歌、百度和微软的Live Search，这三大搜索引擎的界面大家都已经相当熟悉，它们有着共同的特点，就是简洁至极：网站LOGO、搜索框和按钮以及个别功能服务链接，除此以外，页面上就没有其他多余和花哨的东西了，给人的感觉非常清爽，界面一目了然，特别是Live Search在不失简洁的同时还通过一些小脚本和背景图片使得页面整体更加美观。三者使用起来都很方便，并且首页界面上没有任何第三方的广告。搜索结果页面，三者同样是采用简洁的风格，页面左侧排列着搜索结果，百度搜索结果页面右侧有不少广告，谷歌视关键词的不同也可能出现右侧广告。 Live Search的界面十分简洁且美观 百度搜索结果页面右侧的广告与上面三者相比，雅虎全能搜在界面上显得更为活泼、色彩更加多样，并且在首页内容上也更丰富。首页上除了常规的搜索所需组成部分外，雅虎全能搜还加入了天气预报、邮箱登录的显示区域。虽然这些占据了一点点页面，但是它们功能实用且不影响正常使用。雅虎全能搜的搜索主页 搜狗搜索的界面可谓结合了谷歌和Live Search：在布局上
与谷歌类似，而在细节上与Live Search有着异曲同工之妙；而搜索新军——网易有道的界面与谷歌、百度站在同一阵线，风格、版式都十分一致。在搜索结果页面中，搜狗搜索页面左侧有少量广告。总的来说，六款搜索引擎的界面设计都比较合理、美观、大方。雅虎全能搜的界面稍有不同，加入了天气预报和邮箱模块，而其他五款都尽量精简，其中谷歌、百度和有道趋于一致，采用最简的风格，而Live Search和搜狗在首页的一些细节上多加以了一些修饰。此外，值得一提的是一些搜索引擎对于Logo文化的重视，在传统的节日或者一些特殊的纪念日时都会将首页的Logo徽标换成与该日子相关的设计。其中在这方面要数谷歌和百度做得最为出色：无论是三八节、五一节这样的国际节日，或者情人节、万圣节这样的西方舶来物，还是春节、清明、端午等传统的中国农历节日，谷歌和百度都会精心设计相应的节日Logo；此外，谷歌在一些特殊的纪念日，如达芬奇诞辰、地球日之类的纪念日也会推出专门的徽标；而百度近期开始定期在首页推出一个搜索封面人物，以此反映对互联网时代风云人物的价值取向，十分有特色。雅虎和搜狗在节日Logo设计方面也有所表现，在节日时也可经常看到其专门的徽标；网易有道正式版新近推出不久，我们还无法对其在特殊Logo的设计上是否会有所表现作出评价。搜索引擎的特色Logo其实并不仅仅是一个单纯的设计，它还有更多的作用：它承载了一种信息，传达了搜索引擎提供商对于创新、
搜索引擎技术与发展综述
工程技术 Computer CD Software and Applications 2012年第14期 — 24 — 搜索引擎技术与发展综述 孙宏，李戴维，董旭阳，季泽旭 （中国电子科技集团第十五研究所信息技术应用系统部，北京 100083） 摘 要：随着信息技术的飞速发展和互联网的广泛普及，信息检索技术越来越受到重视。阐述了搜索引擎的产生与发展，并对搜索引擎的核心技术、评价指标和工作原理进行了深入研究。介绍了一些著名的搜索引擎。在此基础上，对搜索引擎的发展方向进行了预测。 关键词：信息技术；信息检索；搜索引擎 中图分类号：TP311.52 文献标识码：A 文章编号：1007-9599 （2012） 14-0024-03 一、引言 信息技术如今迅速发展，Internet 也得到了广泛的普及，网络上的信息量正在以指数趋势上升。其信息来源分布广泛，种类繁多。如果不能对信息进行有序化管理，用户将很难从如此海量的信息中提取出他们需要的信息。目前，搜索引擎已经成为人们获取信息的主要手段之一。搜索引擎就是在繁琐复杂的互联网信息中通过特定的检索策略，对信息进行搜索与分类，通过分析用户提交的请求，按照用户的要求和习惯进行组织，从而达到用户快速检索特定信息的目的。目前搜索引擎提供的搜索方式主要有整句、主题词、自由词等等，用以适应不同用户的需求。 二、搜索引擎的产生与发展 蒙特利尔大学的Alan Emtage 实现了最初的搜索引擎，称为Archie 引擎，Archie 引擎可以在特定的网络中进行相关的信息检索。由于其工作原理与现代搜索引擎非常接近，我们通常认为他 开创了现代搜索引擎领域。搜索引擎的发展大致经历过了三代： （1）第一代搜索引擎是1994年Michael Mauldin 将John Leavitt 的“网络爬虫”程序接入到其索引程序中的Lycos 。由于 结构和技术相对不成熟，它的搜索速度比较慢，更新速度也不能满足用户的检索要求。 （2）美国斯坦福大学的David Filo 和美籍华人杨致远合作开发成功了第二代搜索引擎，它创立了一些用户关心的目录，用户可以通过目录进行检索。 （3）Google 的正式推出标志着第三代搜索引擎的诞生。其集成了搜索、分类、多语言支持等功能，同时提供了摘要、排序、快照等功能，另外与强大的硬件系统配合，大大改变了互联网用户检索网络信息的方式。第三代搜索引擎主要结构如图-1所示。 查询接口的作用是用户进行交互，即提取用户的输入，并将检索结果返回。 检索器依据用户的需求，可以方便地索引库中查找相应的文档，按照相关度规则进行重排后返回。 索引器负责对文档建立索引，使文档以便于检索的方式重新组织。 分析器负责对收集器收集的信息进行分析和整理。 信息收集器的主要任务是对互联网上的各种信息进行收集，同时记录信息URL 地址（网络 爬虫完成这项工作）。 图1 搜索引擎结构图 三、搜索引擎的工作原理 搜索引擎不是搜索互联网，它搜索的是预先整理好的索引数据库；同样，搜索引擎也不能理解网页上的内容，它只能匹配网页上的文字。搜索引擎的工作流 程如图-2所示。 图2 搜索引擎的工作流程 搜索引擎的工作流程可主要分为四个步骤：通过网络爬虫（Spider ）从互联网上根据相关算法（深度优先、广度优先）抓取网页，抓取网页后对网页中的信息进行加工，加工后将处理后的信息保存到索引数据库中。当用户在索引数据库中搜索查询相 关的信息资源时，搜索结果通过搜索引擎的处理后，对返回结果进行排序，展现给用户。即： （1）利用网络爬虫从互联网上抓取网页：利网络爬虫，按照某种搜索策略，沿着URL 链接爬到其他网页，重复这些过程，并把所有爬过的网页抓取回来。 （2）建立索引数据库：对爬取到的网页进行分析，提取相关关键信息，得到每一个网页针对页面中文字及链接中每一个关键词的重要性，屏蔽掉不重要的词语后，用信息建立网页索引数据库。 （3）处理用户的查询请求：系统接收到用户要查询的关键字后，调用检索器进行搜索，并将返回的结果进行相关度排序，最后按照优先度降序的方式存储在返回结果集合中。 （4）将查询结果返回给用户：搜索结果以网页的形式将结果集中的返回给用户。方便用户查看。 按照上面的步骤就可以简单的架构一个搜索引擎系统供用户使用。目前有很多开源的搜索引擎产品已经完成了上述相关内容，使用者只需要进行相应的配置就可以使用，大大的简化了搜索引擎的开发。目前，比较流行的开源搜索引擎有Nutch 、Solr 等等。 四、搜索引擎的核心技术 搜索引擎的核心技术包括索引技术和检索技术。 （一）索引技术 顺序查找，即通过线性匹配文本进行查找是一种不使用索引进行检索的例子。它无需对文档中的信息进行预处理。这种检索方式在文本较大时检索速度会变得非常慢，通常情况下不使用这种检索方式。