搜档网
当前位置：搜档网 › 基于JAVA的小型中文分词系统
基于JAVA的小型中文分词系统
基于JAVA的小型中文分词系统
摘要：互联网信息飞速增长，网络资源不断增加，于是搜索引擎应运而生，它的出现为我们在网络上搜集我们所需要的资源提供了很大的方便，但是人们并不满足于早期的搜索引擎的功能和速度，于是搜索引擎开始不断地被更新和完善，而分词对于搜索引擎的更新和完善起着很重要的作用。分词作为搜索引擎的重要组成部分，对搜索引擎的查找正确率以及查找速度具有很大的影响。它将用户输入的语句分割成一个个词语和单字，这样检索程序就能很容易地理解用户所需要的信息，从而为用户返回正确且有价值的信息资料。本文通过对正向最大匹配、逆向最大匹配等分词算法以及词典的整词二分、trie索引树、逐字二分和双哈希构造方法进行理论分析，了解各种分词算法和词典构造方法的优点和缺点，并用java
编程实现正向最大匹配、逆向最大匹配的分词算法以及一维线性表、首字哈希、双哈希三种词典构造方法，最终整合实现了java
分词系统。
关键词：中文分词；词典；最大匹配；双哈希
中图分类号：g642.0 文献标志码：a 文章编号：1674-9324（2013）24-0151-04
一、绪论
对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，也没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文
相关主题