文本相似度算法
1.信息检索中的重要发明TF-IDF
1.1TF
Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则
（公式1.1-1）
为该关键词在这篇文章中的词频。
1.2IDF
Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式
（公式1.2-1）
计算而得，其中D为文章总数，Dw为关键词出现过的文章数。2.基于空间向量的余弦算法
2.1算法步骤
预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。
2.2步骤简介
2.2.1预处理
预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。
然后按照停用词表中的词语将语料中对文本内容识别意义不大但出
现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。
图2.2.1-1中文文本相似度算法预处理流程
2.2.2文本特征项选择与加权
过滤掉常用副词、助词等频度高的词之后，根据剩下词的频度确定若干关键词。频度计算参照TF公式。
加权是针对每个关键词对文本特征的体现效果大小不同而设置的机制，权值计算参照IDF公式。
2.2.3向量空间模型VSM及余弦计算
向量空间模型的基本思想是把文档简化为以特征项（关键词）的权重为分量的N维向量表示。
这个模型假设词与词间不相关（这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提），用向量来表示文本，从而简化了文本中的关键词之间的复杂关系，文档用十分简单的向量表示，使得模型具备了可计算性。
在向量空间模型中，文本泛指各种机器可读的记录。
用D（Document）表示文本，特征项（Term，用t表示）指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D（T1，T2，…，Tn），其中Tk是特征项，要求满足1<=k<=N。
下面是向量空间模型（特指权值向量空间）的解释。
假设一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为
D（a，b，c，d）
对于其它要与之比较的文本，也将遵从这个特征项顺序。对含有n 个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即
D＝D（T1，W1；T2，W2；…，Tn，Wn）
简记为
D＝D（W1，W2，…，Wn）
我们把它叫做文本D的权值向量表示，其中Wk是Tk的权重，
1<=k<=N。
在上面那个例子中，假设a、b、c、d的权重分别为30，20，20，10，那么该文本的向量表示为
D（30，20，20，10）
在向量空间模型中，两个文本D1和D2之间的内容相关度Sim（D1，D2）常用向量之间夹角的余弦值表示，公式为：
其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1<=k<=N。
下面是利用模型进行余弦计算的示例。
在自动归类中，我们可以利用类似的方法来计算待归类文档和某类目的相关度。
假设文本D1的特征项为a，b，c，d，权值分别为30，20，20，10，类目C1的特征项为a，c，d，e，权值分别为40，30，20，10，则D1的向量表示为
D1（30，20，20，10，0）
C1的向量表示为
C1（40，0，30，20，10）
则根据上式计算出来的文本D1与类目C1相关度是0.86。
那么0.86具体是怎么推导出来的呢？
在数学当中，n维向量是
V{v1，v2，v3，...，vn}
模为
|v|=sqrt（v1*v1+v2*v2+…+vn*vn）
两个向量的点积
m*n=n1*m1+n2*m2+......+nn*mn
相似度
sim＝（m*n）/（|m|*|n|）
它的物理意义就是两个向量的空间夹角的余弦数值。
下面是代入公式的过程：
d1*c1=30*40+20*0+20*30+10*20+0*10=2000
|d1|=sqrt（30*30+20*20+20*20+10*10+0*0）=sqrt （1800）
|c1|=sqrt（40*40+0*0+30*30+20*20+10*10）=sqrt （3000）
sim=d1*c1/（|d1|*|c1|）=2000/sqrt（1800*3000）=0.86066 完毕。
2.3算法实现
开源代码：Text-Similarity-0.08
简介：PERL脚本、自定义去停用词表、无语义识别功能、不适于中文。
局限：仅适用于英文、无语义相似判别功能
编译安装：
（1）进入代码主目录里的/bin
修改text_similarity.pl
将第一行改为#!/usr/bin/perl
（2）退回代码主目录，分别执行
perl Makefile.PL
make
make test
make install
（3）重新进入主目录/bin进行测试
图2.3-1代码效果
可以看见语句“.......this is one”与“????this is two”的匹配度是
0.66；
“.......this is one”与“.......this is two”的匹配度仍然是0.66；“.......this is one”与“…….this is one”的匹配度是1；“.......this is one”与“..（）（）this is one”的匹配度是1。
说明匹配的算法去停用字功能存在。
2.4缺陷
这类算法没有很好地解决文本数据中存在的自然语言问题，即同义词和多义词。这样对于搜索的精度产生很大的影响。
2.5算法变体
图2.5-1算法变体（红）
3.改进算法
3.1隐形语义引标
隐性语义标引（LSI）利用矩阵理论中的“奇异值分解（SVD）”技术，将词频矩阵转化为奇异矩阵：首先从全部的文档集中生成一个文档矩阵，该矩阵的每个分量为整数值，代表某个特定的文档矩阵出现在某个特定文档中次数。然后将该矩阵进行奇异值分解，较小的奇异值被剔除。结果奇异向量以及奇异值矩阵用于将文档向量和查询向量映射到一个子空间中，在该空间中，来自文档矩阵的语义关系被保留。最后，可以通过标准化的内积计算来计算向量之间的夹角余弦相似度，进而根据计算结果比较文本间的相似度。LSI引入的唯一变化就是剔除小的奇异值，因为与小的奇异值相关联的特征实际上在计算相似度时并不相关，将它们包括进来将降低相关性判断的精确度。保留下来的特征是那些对文档向量在m维空间中的位置大有影响的特征。剔除小的奇异值将文档特征空间变为文档概念空间。概念向量之问使用内积的夹角余弦相似度计算比原来基于原文本向量的相似度计算更
可靠，这也是使用LSI方法的主要原因所在。LSI的缺点在于它的效果依赖于上下文信息，过于稀疏的语料不能很好的体现其潜在的语义。
3.2基于语义相似度的文本相似度算法
用向量空间模型（VSM）来表示文本在该领域内普遍受到认可，是因为其在知识表示方法上的巨大优势。在该模型中，文本内容被形式化为多维空间中的一个点，通过向量的形式给出，把对文本内容的处理简化为向量空间中向量的运算，使问题的复杂性大为降低。但是它很大的不足之处在于只考虑了词在上下文中的统计特性，假定关键词
之间线性无关，而没有考虑词本身的语义信息，因此具有一定的局限性。
结合语义相似度计算后的算法流程如下所示：
图3.2-1基于向量空间的语义相似度算法流程图
其中，语义相关度计算获得相似度矩阵的方向有两个：基于知网HowNet或者基于WordNet。
4.其它算法涉及的相似度衡量方式
4.1基于拼音相似度的汉语模糊搜索算法
不同于传统的以关键词匹配为核心的匹配技术，这里提出基于拼音相似度的编辑距离来衡量汉字字符串之间的相似度。
论文提出三种编辑距离：基于汉字的编辑距离、基于拼音的编辑距离，
以及基于拼音改良的编辑距离。
4.2最长公共子序列
（1）将两个字符串分别以行和列组成矩阵。
（2）计算每个节点行列字符是否相同，如相同则为1。
（3）通过找出值为1的最长对角线即可得到最长公共子串。
为进一步提升该算法，我们可以将字符相同节点的值加上左上角（d[i-1，j-1]）的值，这样即可获得最大公共子串的长度。如此一来只需以行号和最大值为条件即可截取最大子串。
4.3最小编辑距离算法
（1）狭义编辑距离
设A、B为两个字符串，狭义的编辑距离定义为把A转换成B需要的最少删除（删除A中一个字符）、插入（在A中插入一个字符）和替换（把A中的某个字符替换成另一个字符）的次数，用ED（A，B）来表示。直观来说，两个串互相转换需要经过的步骤越多，差异越大。
（2）步骤
1.对两部分文本进行处理，将所有的非文本字符替换为分段标记“#”
2.较长文本作为基准文本，遍历分段之后的短文本，发现长文本包含短文本子句后在长本文中移除，未发现匹配的字句累加长度。
3.比较剩余文本长度与两段文本长度和，其比值为不匹配比率。
5.总结
衡量文本相似度的几种手段：
（1）最长公共子串（基于词条空间）
（2）最长公共子序列（基于权值空间、词条空间）（3）最少编辑距离法（基于词条空间）
（4）汉明距离（基于权值空间）
（5）余弦值（基于权值空间）
相似度算法在源程序比较中的应用
龙源期刊网 https://www.sodocs.net/doc/117537102.html, 相似度算法在源程序比较中的应用 作者：朱利龙 来源：《电脑知识与技术》2016年第21期 摘要：在计算机程序课的教学过程中，时常需要对学生所提交的源程序进行检查，特别是源程序的重复率检查。纯人工对比不但花费时间长，而且效率低下。因此，本文提出利用文本相似度算法解决源程序对比的方法，并设计出相应的源程序比较系统，来帮助老师从繁重的工作中解脱出来。 关键词：相似度；距离编辑算法；源程序对比 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）21-0214-01 源程序对比分析是一个复杂的过程，不仅需要考虑实用性和考虑准确性，而且还要兼顾运行效率等问题。在程序上机课的过程性考核中，很多同学提交的程序源代码之间重复率很高。本文借助计算机实现源程序的自动对比，不但可以降低劳动强度，提高工作效率，而且可以减少误判的可能性，进一步保证源程序对比结果的正确性。 1 特征提取 要获取源程序重复率，判断是否抄袭程度，可以通过计算源程序的相似率来代替。相似率越高说明源程序重复部分越多，学生抄袭的可能性越高。要计算代码的相似率，就得提取源代码的有关特征参数。 根据源程序块粒度大小不同，可以利用源程序中诸如换行符之类的分割符来分解成程序语句，分解得到的每一部分称为一个程序块。源程序块的选择将在很大程度上影响程序的效率，要比较源程序部分复制，就必须减少源程序块的长度。本文将每一个语句看成一个源程序块，即粒度大小为一条语句。于是，源程序就被分解为语句集合，源程序的相似程度便可以由语句的相似率来计算。因此，对于源程序的对比，选择程序语句作为源程序的对比粒度块是具有可行性的。 本文系统采用的是距离编辑算法，利用字符串的模式匹配实现对源程序相似度进行判断。把两篇源程序进行全文对比得出相似度；得出相似度后，根据源程序分隔符把两源程序分割成逐条语句的，然后对这些语句进行一一对比，得出语句的相似度；比较出来的超过语句的相似度的语句称为相似句，把相似句对应的原句进行红色标记；统计出相似句对应原句占原源程序的比例，在比较中可以通过红色显示相同。 2 距离编辑算法
文本相似度算法
1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则 （公式1.1-1） 为该关键词在这篇文章中的词频。 1.2IDF Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式 （公式1.2-1） 计算而得，其中D为文章总数，Dw为关键词出现过的文章数。2.基于空间向量的余弦算法 2.1算法步骤 预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。 2.2步骤简介 2.2.1预处理 预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。 然后按照停用词表中的词语将语料中对文本内容识别意义不大但出
现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。 图2.2.1-1中文文本相似度算法预处理流程 2.2.2文本特征项选择与加权 过滤掉常用副词、助词等频度高的词之后，根据剩下词的频度确定若干关键词。频度计算参照TF公式。 加权是针对每个关键词对文本特征的体现效果大小不同而设置的机制，权值计算参照IDF公式。 2.2.3向量空间模型VSM及余弦计算 向量空间模型的基本思想是把文档简化为以特征项（关键词）的权重为分量的N维向量表示。
这个模型假设词与词间不相关（这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提），用向量来表示文本，从而简化了文本中的关键词之间的复杂关系，文档用十分简单的向量表示，使得模型具备了可计算性。 在向量空间模型中，文本泛指各种机器可读的记录。 用D（Document）表示文本，特征项（Term，用t表示）指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D（T1，T2，…，Tn），其中Tk是特征项，要求满足1<=k<=N。 下面是向量空间模型（特指权值向量空间）的解释。 假设一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为 D（a，b，c，d） 对于其它要与之比较的文本，也将遵从这个特征项顺序。对含有n 个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即 D＝D（T1，W1；T2，W2；…，Tn，Wn） 简记为 D＝D（W1，W2，…，Wn） 我们把它叫做文本D的权值向量表示，其中Wk是Tk的权重，
计算文本相似度几种最常用的方法,并比较它们之间的性能
计算文本相似度几种最常用的方法，并比较它们之间的性能 编者按：本文作者为Yves Peirsman，是NLP领域的专家。在这篇博文中，作者比较了各种计算句子相似度的方法，并了解它们是如何操作的。词嵌入（word embeddings）已经在自然语言处理领域广泛使用，它可以让我们轻易地计算两个词语之间的语义相似性，或者找出与目标词语最相似的词语。然而，人们关注更多的是两个句子或者短文之间的相似度。如果你对代码感兴趣，文中附有讲解细节的Jupyter Notebook地址。以下是论智的编译。 许多NLP应用需要计算两段短文之间的相似性。例如，搜索引擎需要建模，估计一份文本与提问问题之间的关联度，其中涉及到的并不只是看文字是否有重叠。与之相似的，类似Quora之类的问答网站也有这项需求，他们需要判断某一问题是否之前已出现过。要判断这类的文本相似性，首先要对两个短文本进行embedding，然后计算二者之间的余弦相似度（cosine similarity）。尽管word2vec和GloVe等词嵌入已经成为寻找单词间语义相似度的标准方法，但是对于句子嵌入应如何被计算仍存在不同的声音。接下来，我们将回顾一下几种最常用的方法，并比较它们之间的性能。 数据 我们将在两个被广泛使用的数据集上测试所有相似度计算方法，同时还与人类的判断作对比。两个数据集分别是： STS基准收集了2012年至2017年国际语义评测SemEval中所有的英语数据 SICK数据库包含了10000对英语句子，其中的标签说明了它们之间的语义关联和逻辑关系 下面的表格是STS数据集中的几个例子。可以看到，两句话之间的语义关系通常非常微小。例如第四个例子： A man is playing a harp. A man is playing a keyboard.
地址相似度算法
一、计算过程： 1、根据输入一个地址，生成一个地址每个字的数组： T1={w1,w2,w3..wn}; 比如：有两个地址广东省梅州市江南彬芳大道金利来步街xx号和广东省梅州市梅江区彬芳大道金利来步行街xx号，会生成 T1={广,东,省,梅,州,市,江,南,彬,芳,大,道,金,利,来,步,街,xx,号}; T2={广,东,省,梅,州,市,梅,江,区,彬,芳,大,道,金,利,来,步,行,街,xx,号}; 2、这两个地址的并集，对出现多次的字只保留一次 比如：T={广,东,省,州,市,梅,江,南,区,彬,芳,大,道,金,利,来,步,行,街,xx,号}; 3、求出每个t中每个词在t1和t2中出现的次数得到m和n m={m1,m2,m3..mn}; n={n1,n2,n3.nn}; 比如:t1和t2可以得到两个出现次数的数组 m={1,1,1,1,1,1,1,1,1,0,1,1,1,1,1,1,1,1,0,1,1,1}; n={1,1,1,1,1,2,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1}; 4、计算相似度 Sim=m1*n1+m2*n2+..mn*nn/sqrt(m1*m1+m2*m2+..mn*mn)* sqrt(n1*n1+n2*n2+..nn*nn) 二、计算原理： 假如这两个数组是只有｛x1,y1｝和{x2,y2}的数组，这两个数组可以在平面直角坐标系中用两个由原点出发的向量来表示，我们可以通过向量的夹角的大小来判断向量的相似度，夹角越小，相似度越高。计算向量的夹角，我们可以使用余弦定理，余弦定理用坐标表示的公式： 余弦的这种计算方法不止对于2维向量成立，对n维向量也成立，n维向量表示为： 所以我们可以使用这个公式得出余弦的值，值越接近1，夹角越小，两个向量越相似，这种计算方式叫做余弦相似性。
基于WMD距离的文本相似度算法研究
基于WMD距离的文本相似度算法研究 随着AI技术的迅速崛起,人工智能和随之而来的海量文本数据对自然语言处理也提出了更高的要求。文本相似度作为自然语言处理领域的一大基础任务,在搜索引擎、QA系统、机器翻译、文本分类、拼写纠错等领域有广泛的应用。 文本作为承载语义信息的一种重要方式,传统的文本表示采用向量空间模型来表达语义信息,这种方式未考虑到特征词的顺序以及上下文语义理解,造成高维稀疏以及计算效率低的问题。WMD距离算法利用word2vec中的语义信息,实现高度语义共现精确度,并能挖掘出独立词之间的语义相关性。 因此本文的研究工作基于WMD距离算法展开,在WMD距离算法的基础上充分挖掘文本语义中有价值的特征项以及结合知识词典中的语言学知识构架和句法依存关系,提出了两种改进算法。本文的主要工作有:1.本文基于WMD距离算法存在过于单一的词频权重无法有效提取文本特征及利用语义信息的问题,提出了WMD-JCS(Word Mover’s DistanceJoint Character and Sentence)算法。 该改进算法将原始的词频权重代替为使用TF-IDF系数、词语词性以及出现的物理位置作为新的文本特征项,并将这些特征项以合理的数学计算公式加入算法中;其次将训练好的词向量以无监督方式构造句子的句向量,以充分考虑语义的上下文环境;最后将筛选出的关键词的词向量和句向量参与计算改进后的距离公式。实验表明,该改进算法与WMD距离算法相比,可以有效提高文本相似度的准确度。 2.基于上述第一种改进的WMD-JCS算法,本文提出了另一种改进算法 WMD-WSA(Word Mover’s Distance-Word Sense Analysis)。由于基于深度学习的计算方法的语义可解释性差以及WMD-JCS算法存在无法融合深层语义相关性
相似度算法比较
图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分，根据分数的高低来判断图像内容的相近程度。 可以用于计算机视觉中的检测跟踪中目标位置的获取，根据已有模板在图像中找到一个与之最接近的区域。然后一直跟着。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子滤波等等也都是需要这方面的理论去支撑。 还有一方面就是基于图像内容的图像检索，也就是通常说的以图检图。比如给你某一个人在海量的图像数据库中罗列出与之最匹配的一些图像，当然这项技术可能也会这样做，将图像抽象为几个特征值，比如Trace变换，图像哈希或者Sift特征向量等等，来根据数据库中存得这些特征匹配再返回相应的图像来提高效率。 下面就一些自己看到过的算法进行一些算法原理和效果上的介绍。 (1)直方图匹配。 比如有图像A和图像B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数（巴氏距离，直方图相交距离）等等。 这种思想是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，这种方法是目前用的比较多的一种方法，第一，直方图能够很好的归一化，比如通常的256个bin条的。那么两幅分辨率不同的图像可以直接通过计算直方图来计算相似度很方便。而且计算量比较小。 这种方法的缺点: 1、直方图反映的是图像像素灰度值的概率分布，比如灰度值为200的像素有多少个，但是对于这些像素原来的位置在直方图中并没有体现，所以图像的骨架，也就是图像内部到底存在什么样的物体，形状是什么，每一块的灰度分布式什么样的这些在直方图信息中是被省略掉得。那么造成的一个问题就是，比如一个上黑下白的图像和上白下黑的图像其直方图分布是一模一样的，其相似度为100%。 2、两幅图像之间的距离度量，采用的是巴氏距离或者归一化相关系数，这种用分析数学向量的方法去分析图像本身就是一个很不好的办法。 3、就信息量的道理来说，采用一个数值来判断两幅图像的相似程度本身就是一个信息压缩的过程，那么两个256个元素的向量（假定直方图有256个bin条）的距离用一个数值表示那么肯定就会存在不准确性。 下面是一个基于直方图距离的图像相似度计算的Matlab Demo和实验结果. %计算图像直方图距离 %巴氏系数计算法 M=imread('1.jpg'); N=imread('2.jpg'); I=rgb2gray(M); J=rgb2gray(N); [Count1,x]=imhist(I); [Count2,x]=imhist(J); Sum1=sum(Count1);Sum2=sum(Count2); Sumup = sqrt(Count1.*Count2); SumDown = sqrt(Sum1*Sum2); Sumup = sum(Sumup); figure(1); subplot(2,2,1);imshow(I); subplot(2,2,2);imshow(J);
文本相似度算法
文本相似度算法 1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N 个该关键词，则 （公式1.1-1） 为该关键词在这篇文章中的词频。 1.2IDF Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式 （公式1.2-1） 计算而得，其中D为文章总数，Dw为关键词出现过的文章数。 2.基于空间向量的余弦算法 2.1算法步骤 预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。 2.2步骤简介 2.2.1预处理 预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。 然后按照停用词表中的词语将语料中对文本内容识别意义不大但出现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。
图2.2.1-1中文文本相似度算法预处理流程 2.2.2文本特征项选择与加权 过滤掉常用副词、助词等频度高的词之后，根据剩下词的频度确定若干关键词。频度计算参照TF公式。 加权是针对每个关键词对文本特征的体现效果大小不同而设置的机制，权值计算参照IDF公式。 2.2.3向量空间模型VSM及余弦计算 向量空间模型的基本思想是把文档简化为以特征项（关键词）的权重为分量的N维向量表示。 这个模型假设词与词间不相关（这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提），用向量来表示文本，从而简化了文本中的关键词之间的复杂关系，文档用十分简单的向量表示，使得模型具备了可计算性。 在向量空间模型中，文本泛指各种机器可读的记录。 用D（Document）表示文本，特征项（Term，用t表示）指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D（T1，T2，…，Tn），其中Tk 是特征项，要求满足1<=k<=N。 下面是向量空间模型（特指权值向量空间）的解释。 假设一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为 D（a，b，c，d） 对于其它要与之比较的文本，也将遵从这个特征项顺序。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即 D＝D（T1，W1；T2，W2；…，Tn，Wn）
面向情感聚类的文本相似度计算方法研究
第３２卷 第５期 ２０１８年５月中文信息学报JOU RNAL OF CHINESE INFORM A TION PROCESSING Vol ．３２，No ．５May ，２０１８文章编号：１００３-００７７（２０１８）０５-００９７-０８ 面向情感聚类的文本相似度计算方法研究 李欣１，李旸２，王素格２，３ （１．山西职工医学院信息中心，山西晋中０３０６１９； ２．山西大学计算机与信息技术学院，山西太原０３０００６； ３．山西大学计算智能与中文信息处理教育部重点实验室，山西太原０３０００６） 摘 要：在文本情感分析时，使用无监督的聚类方法，可以有效节省人力和数据资源，但同时也面临聚类精度不高的问题。相似性是文本聚类的主要依据，该文从文本相似度计算的角度，针对情感聚类中文本—特征向量的高维和稀疏问题，以及对评论文本潜在情感因素的表示问题，提出一种基于子空间的文本语义相似度计算方法（RESS ）。实验结果表明，基于RESS 的文本相似度计算方法，有效解决了文本向量的高维问题，更好地表达了文本间情感相似性，并获得较好的聚类结果。 关键词：文本情感聚类；文本相似度计算；文本语义子空间 中图分类号：T P ３９１ 文献标识码：A Text Similarity Calculation for Text Sentiment Clustering LI Xin １，LI Yang ２，WANG Suge ２，３（１．Information Center ，Shanxi Medical College for Continuing Education ，Jinzhong ，Shanxi ０３０６１９，China ；２．School of Computer and Information Technology ，Shanxi University ，Taiyuan ，Shanxi ０３０００６，China ； ３．Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education Shanxi University ，Taiyuan ，Shanxi ０３０００６，China ）Abstract ：In text sentiment analysis ，unsupervised clustering method is challenged by low precision ．To improve the text similarity measure lying as key to clustering ，this paper proposes a semantic subspace （RESS ）method to deal with the high dimension and sparseness of sentiment text representation issue ．It also helps to caputure the implicit expression of sentiment ．The experimental results show that RESS can effectively reduce the feature of data set and g enerat better results ．Key words ：sentiment -based text clustering ；text similarity calculation ；text semantic subspace 收稿日期：２０１７-０３-０３ 定稿日期：２０１７-０５-１２基金项目：国家自然科学基金（６１５７３２３１，６１６３２０１１，６１６７２３３１，６１４３２０１１）；山西省科技基础条件平台计划项目（２０１５０９１００１-０１０２）0 引言 随着新兴电子商务平台，微博和微信等社交媒 体的广泛使用，人们在享受互联网技术带来便利的 同时，也用文字记载了自己的心情、状态、评价和观 点。通过挖掘海量微博和评论文本等社会媒体数 据，可以获得用户对产品的情感倾向（褒扬或者贬 斥），从而指导企业的决策以及个人的消费行为 ［１-２］。有监督的机器学习方法需要大量的带标签的文本数据，而无监督的文本聚类方法可以克服这一不足［３］。目前，聚类方法在文本数据挖掘中发挥了重要作用，情感聚类的相关研究也备受关注［４］。情感聚类常面临三个困难：首先，由于聚类算法的无指导性，使聚类结果总是沿着文本最显著的特点聚簇。而文本一般是按照一定的主题进行组织，因此，情感聚类结果的准确率并不高；其次，由于用户表达的感受和观点等情感蕴含在评论中，其特征表现并不明显。从大量的特征中难以实现情感特征的有效分 万方数据
文本相似度算法基本原理
1文本相似度算法基本原理 1.1文本相似度含义 文本相似度来自于相似度概念，相似度问题是一个最基本的问题，是信息科学中绕不过去的概念，在不同的应用方向其含义有所不同，但基本的内涵表示了一个信息结构与另外一个信息结构的一致程度，从某个角度研究时特征量之间的距离大小[10]。比如，在机器翻译方面是指词这个基本单位的可替代性，在信息检索方面是指检索结果与检索内容的一致性，在自动问答方面是指搜索的结果与输入的问题的匹配程度。这充分表明文本相似度研究和应用领域十分广泛，所表达的含义也十分不同。从本文研究的角度来看，文本相似度可以描述为：有A、B两个对象，二者之间的公共区域越多、共性越大，则相似程度越高；若二者没有关联关系，则相似程度低。在文本相似度研究方面，一个层次是研究文档中以篇章、句子、词语衡量相似程度，这不同层次衡量算法也不同，研究的标准和依据也不同，算法的复杂程度也不同。从这个意义上，可以运用在新闻领域对新闻稿件进行归档，按照新闻的领域分门别类的存放在一起；也可以运用在信息检索进行信息查询，作为一个文本与另一个文本之间相似程度测量的基本方法。 1.2文本相似度计算方法分类 当前研究文本相似度都是以计算机作为计算工具，即利用计算机算法对文本进行分类，在各个领域应用十分广泛，比如包括网页文本分类、数据智能挖掘、信息识别检索、自动问答系统、论文查重分析和机器自主学习等领域，其中起最关键作用的是文本相似度计算算法，在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。 特别是随着智能算法、深度学习的发展，文本相似度计算方法已经逐渐不再是基于关键词匹配的传统方法，而转向深度学习，目前结合向量表示的深度学习使用较多，因此度量文本相似度从方法论和算法设计全局的角度看，一是基于关键词匹配的传统方法，如N-gram相似度；二是将文本映射到向量空间，再利用余弦相似度等方法，三是运用机器学习算法的深度学习的方法，如基于用户点击数据的深度学习语义匹配模型DSSM，基于卷积神经网络的ConvNet和LSTM 等方法。 本文研究的重点是对电子作业检查等各类电子文档对比，在对两个电子文档是否相同，相似比例为多少这一问题探究中需要比较文档的相似度，而文档的相似度又可分成段落相似度、句子相似度来进行考虑，所以课题的关键是如何定义
图像相似度计算
图像相似度计算 图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分，根据分数的高低来判断图像内容的相近程度。 可以用于计算机视觉中的检测跟踪中目标位置的获取，根据已有模板在图像中找到一个与之最接近的区域。然后一直跟着。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子滤波等等也都是需要这方面的理论去支撑。 还有一方面就是基于图像内容的图像检索，也就是通常说的以图检图。比如给你某一个人在海量的图像数据库中罗列出与之最匹配的一些图像，当然这项技术可能也会这样做，将图像抽象为几个特征值，比如Trace变换，图像哈希或者Sift特征向量等等，来根据数据库中存得这些特征匹配再返回相应的图像来提高效率。 下面就一些自己看到过的算法进行一些算法原理和效果上的介绍。 (1)直方图匹配。 比如有图像A和图像B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数（巴氏距离，直方图相交距离）等等。 这种思想是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，这种方法是目前用的比较多的一种方法，第一，直方图能够很好的归一化，比如通常的256个bin条的。那么两幅分辨率不同的图像可以直接通过计算直方图来计算相似度很方便。而且计算量比较小。 这种方法的缺点: 1、直方图反映的是图像像素灰度值的概率分布，比如灰度值为200的像素有多少个，但是对于这些像素原来的位置在直方图中并没有体现，所以图像的骨架，也就是图像内部到底存在什么样的物体，形状是什么，每一块的灰度分布式什么样的这些在直方图信息中是被省略掉得。那么造成的一个问题就是，比如一个上黑下白的图像和上白下黑的图像其直方图分布是一模一样的，其相似度为100%。 2、两幅图像之间的距离度量，采用的是巴氏距离或者归一化相关系数，这种用分析数学向量的方法去分析图像本身就是一个很不好的办法。 3、就信息量的道理来说，采用一个数值来判断两幅图像的相似程度本身就是一个信息压缩的过程，那么两个256个元素的向量（假定直方图有256个bin条）的距离用一个数值表示那么肯定就会存在不准确性。 下面是一个基于直方图距离的图像相似度计算的Matlab Demo和实验结果.
相似度计算方法
基于距离的计算方法 1. 欧氏距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。 (1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离： (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离： (3)两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离： 也可以用表示成向量运算的形式： (4)Matlab计算欧氏距离 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离 X = [0 0 ; 1 0 ; 0 2] D = pdist(X,'euclidean') 结果： D = 1.0000 2.0000 2.2361 2. 曼哈顿距离(Manhattan Distance) 从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除
非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。 (1)二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离 (2)两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离 (3) Matlab计算曼哈顿距离 例子：计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离 X = [0 0 ; 1 0 ; 0 2] D = pdist(X, 'cityblock') 结果： D = 1 2 3 5. 标准化欧氏距离 (Standardized Euclidean distance ) (1)标准欧氏距离的定义 标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为： 而且标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是： 标准化后的值= ( 标准化前的值－分量的均值) /分量的标准差 经过简单的推导就可以得到两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的标准化欧氏距离的公式： 如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。
信息检索几种相似度计算方法作对比
句子相似度地计算在自然语言处理具有很重要地地位,如基于实例地机器翻译( )、自 动问答技术、句子模糊匹配等.通过对术语之间地语义相似度计算,能够为术语语义识别[]、术语聚类[]、文本聚类[]、本体自动匹配[]等多项任务地开展提供重要支持.在已有地术语相似度计算方法中,基于搜索引擎地术语相似度算法以其计算简便、计算性能较高、不受特定领域语料库规模和质量制约等优点而越来越受到重视[]. 相似度计算方法总述： 《向量空间模型信息检索技术讨论》，刘斌，陈桦发表于计算机学报， 相似度()：指两个文档内容相关程度地大小，当文档以向量来表示时，可以使用向量文 档向量间地距离来衡量，一般使用内积或夹角地余弦来计算，两者夹角越小说明似度 越高.由于查询也可以在同一空间里表示为一个查询向量(见图)，可以通过相似度计算 公式计算出每个档向量与查询向量地相似度，排序这个结果后与设立地阈值进行比较. 如果大于阈值则页面与查询相关，保留该页面查询结果；如果小于则不相关，过滤此页.这样就可以控制查询结果地数量，加快查询速度.资料个人收集整理，勿做商业用途 《相似度计算方法综述》 相似度计算用于衡量对象之间地相似程度，在数据挖掘、自然语言处理中是一个基础 性计算.其中地关键技术主要是两个部分，对象地特征表示，特征集合之间地相似关系. 在信息检索、网页判重、推荐系统等，都涉及到对象之间或者对象和对象集合地相似 性地计算.而针对不同地应用场景，受限于数据规模、时空开销等地限制，相似度计算 方法地选择又会有所区别和不同.下面章节会针对不同特点地应用，进行一些常用地相 似度计算方法进行介绍.资料个人收集整理，勿做商业用途 内积表示法： 《基于语义理解地文本相似度算法》，金博，史彦君发表于大连理工大学学报， 在中文信息处理中,文本相似度地计算广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域,是一个非常基础而关键地问题,长期以来一直是人们研究地热点和难点.计算机对于中文地处理相对于对于西文地处理存在更大地难度,集中体现在对文本分词 地处理上.分词是中文文本相似度计算地基础和前提,采用高效地分词算法能够极大地提 高文本相似度计算结果地准确性.本文在对常用地中文分词算法分析比较地基础上,提出 了一种改进地正向最大匹配切分()算法及歧义消除策略,对分词词典地建立方式、分词 步骤及歧义字段地处理提出了新地改进方法,提高了分词地完整性和准确性.随后分析比 较了现有地文本相似度计算方法,利用基于向量空间模型地方法结合前面提出地分词算法,给出了中文文本分词及相似度计算地计算机系统实现过程,并以科技文本为例进行了 测试,对所用方法进行了验证.这一课题地研究及其成果对于中文信息处理中地多种领域 尤其是科技类文本相似度地计算比较,都将具有一定地参考价值和良好地应用前景.资料 个人收集整理，勿做商业用途
文本相似度的设计与实现
文本相似度的设计与实现 摘要：本文主要设计并实现了一个文本相似度系统，该系统主要功能计算文档之间的相似度，通过使用向量空间模型(VSM, Vector Space Model)及余弦相似度计算公式计算文档之间的相似度，数据预处理过程中加入word2vec模型进行语义扩充，从而能够匹配到更多相关文档。 1.向量空间模型 向量空间模型(VSM, Vector Space Model)由Salton等人于20世纪70年代年提出[1,2]。向量空间模型的主要思想是将文本内容的处理简化为向量空间中的向量运算，这样将空间上的相似度转化为语义上的相似度。当文档被表示为文档空间的向量时，便可通过计算向量之间的相似性来度量文档间的相似性。文本处理中最常用的相似性度量方式是余弦距离。 向量空间模型的基本思想： 给定一篇文档D=D(T1,T2,…T i,…,T n)，若T i在文档中既可以重复出现又存在先后次序，因此分析起来会较为困难。针对上述情况，暂不考虑T i的顺序，并要求T i互异，此时可将T1,T2,…T i,…,T n看作n维坐标，每一维对应相应值W i，因此D(W1,W2,…,W i,…,W n)便可以看作一个n维向量。 例如：有一篇文档D={大家好，才是真的好}，首先进行分词后转换为D={大家/好/才是/真的/好}，之后提取出公因词D={大家，好，才是，真的}，最后通过向量空间模型将文档转换为对应的向量D={1，2，1，1}。 向量空间模型只是将文档转换为方便计算的格式，若进行相似度计算，还需使用相似度计算公式进行计算。本文使用余弦相似度计算公式。 2.余弦相似度 余弦相似度计算公式广泛应用于文本数据之间的相似度计算过程中。其数学表达如下： 计算过程如下： 例如，有2个文档D1={大家好}，D2={才是真的好}，首先将D1、D2分词后，D1={大家/好}，D2={才是/真的/好}，其次提取出公因词D={大家，好，才是，真的}，然后通过向量空间模型转换成向量表达，D1={1，1，0，0}，D2={0，1，1，1}，最后进行相似度计算 Score== 3.文本相似度系统 本文主要使用向量空间模型及余弦相似度距离公式进行文本相似度计算任务，系统的基本架构如下图1所示：
向量的相似度计算常用方法个
向量的相似度计算常用方法 相似度的计算简介 关于相似度的计算，现有的几种基本方法都是基于向量（Vector）的，其实也就是计算两个向量的距离，距离越近相似度越大。在推荐的场景中，在用户-物品偏好的二维矩阵中，我们可以将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，或者将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度。下面我们详细介绍几种常用的相似度计算方法。 共8种。每人选择一个。第9题为选做。 编写程序实现（这是第一个小练习，希望大家自己动手，java实现）。计算两个向量的相似性： 向量1（0.15, 0.45, 0.l68, 0.563, 0.2543, 0.3465, 0.6598, 0.5402, 0.002） 向量2（0.81, 0.34, 0.l66, 0.356, 0.283, 0.655, 0.4398, 0.4302, 0.05402） 1、皮尔逊相关系数（Pearson Correlation Coefficient） 皮尔逊相关系数一般用于计算两个定距变量间联系的紧密程度，它的取值在[-1，+1] 之间。 s x , s y 是 x 和 y 的样品标准偏差。 类名：PearsonCorrelationSimilarity 原理：用来反映两个变量线性相关程度的统计量 范围：[-1,1]，绝对值越大，说明相关性越强，负相关对于推荐的意义小。 说明：1、不考虑重叠的数量；2、如果只有一项重叠，无法计算相似性（计算过程被除数有n-1）；3、如果重叠的值都相等，也无法计算相似性（标准差为0，做除数）。
该相似度并不是最好的选择，也不是最坏的选择，只是因为其容易理解，在早期研究中经常被提起。使用Pearson线性相关系数必须假设数据是成对地从正态分布中取得的，并且数据至少在逻辑范畴内必须是等间距的数据。Mahout中，为皮尔森相关计算提供了一个扩展，通过增加一个枚举类型（Weighting）的参数来使得重叠数也成为计算相似度的影响因子。 2、欧几里德距离（Euclid ean Distance） 最初用于计算欧几里德空间中两个点的距离，假设 x，y 是 n 维空间的两个点，它们之间的欧几里德距离是： 可以看出，当 n=2 时，欧几里德距离就是平面上两个点的距离。当用欧几里德距离表示相似度，一般采用以下公式进行转换：距离越小，相似度越大。 类名：EuclideanDistanceSimilarity 原理：利用欧式距离d定义的相似度s，s=1 / (1+d)。 范围：[0,1]，值越大，说明d越小，也就是距离越近，则相似度越大。 说明：同皮尔森相似度一样，该相似度也没有考虑重叠数对结果的影响，同样地，Mahout通过增加一个枚举类型（Weighting）的参数来使得重叠数也成为计算相似度的影响因子。 3、Cosine 相似度（Cosine Similarity） Cosine 相似度被广泛应用于计算文档数据的相似度： 类名： UncenteredCosineSimilarity 原理：多维空间两点与所设定的点形成夹角的余弦值。 范围：[-1,1]，值越大，说明夹角越大，两点相距就越远，相似度就越小。 说明：在数学表达中，如果对两个项的属性进行了数据中心化，计算出来的余弦相似度和皮尔森相似度是一样的，在mahout中，实现了数据中心化的过程，所以皮尔森相似度值也是数据中心化后的余弦相似度。另外在新版本
信息检索几种相似度计算方法作对比
几种相似度计算方法作对比 句子相似度的计算在自然语言处理具有很重要的地位,如基于实例的机器翻译(Example Based Ma-chine Translation,EBMT)、自动问答技术、句子模糊匹配等.通过对术语之间的语义相似度计算,能够为术语语义识别[1]、术语聚类[2]、文本聚类[3]、本体自动匹配[4]等多项任务的开展提供重要支持。在已有的术语相似度计算方法中,基于搜索引擎的术语相似度算法以其计算 简便、计算性能较高、不受特定领域语料库规模和质量制约等优点而越来越受到重视[1]。 相似度计算方法总述： 1 《向量空间模型信息检索技术讨论》，刘斌，陈桦发表于计算机学报，2007 相似度S(Similarity)：指两个文档内容相关程度的大小，当文档以向量来表示时，可 以使用向量文档向量间的距离来衡量，一般使用内积或夹角0的余弦来计算，两者夹角越小说明似度越高。由于查询也可以在同一空间里表示为一个查询向量(见图1)，可以通过相似度计算公式计算出每个档向量与查询向量的相似度，排序这个结果后与设立的阈值进行比较。如果大于阈值则页面与查询相关，保留该页面查询结果；如果小于则不相关，过滤此页。这 样就可以控制查询结果的数量，加快查询速度。 2 《相似度计算方法综述》 相似度计算用于衡量对象之间的相似程度，在数据挖掘、自然语言处理中是一个基础性计算。其中的关键技术主要是两个部分，对象的特征表示，特征集合之间的相似关系。在信息检索、网页判重、推荐系统等，都涉及到对象之间或者对象和对象集合的相似性的计算。而针对不同的应用场景，受限于数据规模、时空开销等的限制，相似度计算方法的选择又会有所区别和不同。下面章节会针对不同特点的应用，进行一些常用的相似度计算方法进行介绍。 内积表示法： 1 《基于语义理解的文本相似度算法》，金博，史彦君发表于大连理工大学学报，2007 在中文信息处理中,文本相似度的计算广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域,是一个非常基础而关键的问题,长期以来一直是人们研究的热点和难点。计算机对于中文的处理相对于对于西文的处理存在更大的难度,集中体现在对文本分词的处理上。分词是中文文本相似度计算的基础和前提,采用高效的分词算法能够极大地提高文本相似度计算结果的准确性。本文在对常用的中文分词算法分析比较的基础上,提出了一种改进的正向最大匹配切分(MM)算法及歧义消除策略,对分词词典的建立方式、分词步骤及歧义字段的处理提出了新的改进方法,提高了分词的完整性和准确性。随后分析比较了现有的文本相似度计算方法,利用基于向量空间模型的TF-IDF方法结合前面提出的分词算法,给出了中文文本分词及相似度计算的计算机系统实现过程,并以科技文本为例进行了测试,对所用方
协同过滤算法中的相似度优化方法
—52— 协同过滤算法中的相似度优化方法 徐 翔，王煦法 (中国科学技术大学计算机科学与技术系，合肥 230027) 摘 要：在协同过滤推荐系统中，通过对稀疏评分矩阵进行填充，可以提高对用户相似度的度量效果和系统的推荐精度。不同填充方法对相似度计算结果的影响存在较大差异。为解决该问题，针对3类填充方法构建的评分数据集，以最近邻算法进行推荐，分析传统相似度和基于云模型的相似度经2种方法优化后的度量效果，分别为各填充方法选取最有效的相似度优化方案。 关键词：协同过滤；最近邻；相似度；云模型 Optimization Method of Similarity Degree in Collaborative Filter Algorithm XU Xiang, WANG Xu-fa (Department of Computer Science and Technology, University of Science and Technology of China, Hefei 230027) 【Abstract 】In collaborative filter recommendation systems, the performance of user similarity measuring can be improved by filling the sparse marking matrix. Different filling method has different effect on similarity calculation result. To resolve this problem, this paper makes recommendation by using nearest neighbor algorithm on marking sets constructed by three kinds of filling methods separately, analyzes the measure performance optimized by two methods of traditional similarity measures and the similarity based on cloud model, and selects the most effective similarity measure optimization scheme for each filling method. 【Key words 】collaborative filter; nearest neighbor; similarity degree; cloud model 计 算 机 工 程 Computer Engineering 第36卷 第6期 Vol.36 No.6 2010年3月 March 2010 ·软件技术与数据库· 文章编号：1000—3428(2010)06—0052—03 文献标识码：A 中图分类号：TP391 1 概述 协同过滤是用于减少信息过载的常用技术，已成为个性化推荐系统的主要工具。最近邻协同过滤算法[1]是当前最成功的推荐技术之一。但随着推荐系统规模的扩大，用户评分数据出现极端稀疏性，导致该算法的推荐质量降低。 为解决数据稀疏性问题，一些学者提出了新的相似度计算模型，如文献[2]提出基于云模型的相似度计算方法。一些学者则采用对稀疏的用户-项矩阵进行填充的技术来提高相似度度量效果。最简单的填充办法是将用户对未评分项目的评分设为一个固定的缺省值，如设定为用户的平均评分，实验表明该方法可以有效提高协同过滤算法的推荐精度，因此，被许多简单推荐系统采用。另一种填充方法的处理过程如下：(1)采用预测评分的方式先估算出未评分项目的评分，将用 户-项矩阵填充完整；(2)在得到的稠密矩阵上计算用户间的相似度，以最近邻算法进行推荐。例如，文献[3]提出一种基于项目评分预测的协同过滤推荐技术，通过估计用户评分来填充用户-项矩阵，减小数据稀疏性对计算结果的影响。文献[4]通过奇异值分解(Singular Value Decomposition, SVD)算法估计未评分项目的评分，并在稠密矩阵上计算用户间的相关相似度，采用最近邻算法求取实际未评分项目的预测值。 选取合适的相似度方法对提高推荐精度具有重要作用，因此，本文在3类填充后的评分数据集下对现有相似度度量方法进行了优化分析。 2 现有相似度度量方法 本文主要研究4种相似度：余弦相似度[2](Cos)，修正的余弦相似度[2](ACos)，相关相似度[2](Pearson)和基于云模型的相似度(Yun)。前3种相似度是传统相似度度量方法得到的，下文简要介绍基于云模型的相似度。云模型表达的概念的整体特性可以用期望Ex 、熵En 、超熵He 3个特征来表示，记为C (Ex , En , He )，称为云的向量。在云模型中，云由多个云滴组成，每个用户的所有评分集合被视为一朵“云”，每个评分被视为一个“云滴”，可以通过逆向云算法[2]实现每朵云从定量值到云的特征向量的转换，2朵云之间的相似度可以由云的特征向量的夹角余弦来表示。 基于云模型的相似度度量算法描述如下： 输入 用户i 的评分集合P i =(x 1,x 2,…,x N )，用户j 的评分集合P j =(y 1,y 2,…,y M )，其中，N , M 分别为用户i 和用户j 评分过的项目个数。 输出 用户i 和用户j 的相似度YSim (i , j ) (1)计算用户i 的评分矢量的样本均值1 1N i i X x N ==∑，一阶样本绝对中心矩 1 1N i i x X N =?∑和样本方差221 1()1N i i S x X N ==?∑?。Ex i 的估计值为?Ex X =，He i 的估计值为1 1??N i i He x Ex N ==?∑，En i 的估计值为?En =，则用户i 的云向量为i =C (,,)i i i Ex En He ，用户j 的云向量为j =C (,,)j j j Ex En He 。 (2)对任意2个用户i 和j 的相似度可以由C i 和C j 之间的余弦夹角来表示，即 作者简介：徐 翔(1984－)，男，硕士研究生，主研方向：电子商务个性化理论与方法；王煦法，教授、博士生导师 收稿日期：2009-10-25 E-mail ：xuustc@https://www.sodocs.net/doc/117537102.html,