搜档网
当前位置:搜档网 › 文本情感分析论文总结

文本情感分析论文总结

文本情感分析论文总结
文本情感分析论文总结

文本情感分析

赵妍妍,秦兵,刘挺- 软件学报, 2010 - https://www.sodocs.net/doc/654883576.html,

按粒度,情感分析可分为词语级、短语级、句子级、篇章级、多篇章级;按文本类别,可分为基于新闻评论和基于产品的情感分析。

情感分析的研究任务:情感信息的抽取、分类以及检索与归纳。

一、情感信息抽取(评价词语、评价对象、观点持有者)

1.评价词语的抽取:基于语料库的抽取;基于词典的抽取;基于图的方法。

2.评价对象的抽取:基于规则/模板的方法(词序列、词性、句法规则、关联规则挖掘);评

价对象最为产品属性,考察评价对象与领域指示词的关联度来获取;多粒度的话题模型方法。

3.观点持有者抽取:命名实体识别技术(人名或机构名)、语义角色标注;分类任务,看做

序列标注问题,使用CRF融合特征抽取;名词短语作为候选,使用ME模型计算。

4.组合评价单元的抽取:

主观表达式:Wiebe的主观表达式库(抽取n元词语/词组作为候选,对比训练预料判断) 评价短语抽取(程度副词-评价词语):情感词典的方法;依存句法解构(ADV,ATT,DE)。

评价搭配抽取(评价词语-评价对象):基于模板的方法(8个共现模板、句法关系模板)。

二、情感信息分类

1.主客观信息分类:文本是否含情感知识方法;组合评价单元判断;情感模板识别;基于

分类器和分类特征的二元分类任务(词语特征,标点、人称代词、数字特征,基于图);

2.主观信息情感分类(句子级、篇章级):基于情感知识、基于特征分类的方法(n-gram词语

特征和词性特征、位置特征、评价词特征)。

三、情感信息的检索与归纳

1.情感信息检索

2.情感信息归纳

基于产品属性的情感文摘:识别评论信息中的产品属性,抽取描述产品属性的情感句,判断其倾向性。

基于情感标签的情感文摘:标签可定义为评价搭配形式,建立标签库,相似度聚类的方法聚类得到相似的情感标签,每一类视为潜在的话题(即产品属性)。

基于新闻评论的文摘

四、情感分析的评测与资源

1.情感分析的评测:TREC,NTCIR的MOAT(新闻观点检测,情感问答,跨语言情感分析),

国内的COAE。

2.情感分析的语料:康奈尔大学的影评数据集,UIC的Hu和Liu的产品领域的评论语料,

Wiebe的MPQA新闻评论深度标注语料,MIT的多角度餐馆评论语料,中科院的中文酒店评论语料。

3.词典资源:GI(general inquirer)评价词词典,NTU评价词词典(繁体中文),主观词词典(英

文),HowNet评价词词典(简体中文、英文)

问题:情感信息抽取忽略词语所在语境的影响;评价对象的情感分类,而非句子级或篇章级;基于情感标签的情感文摘的深入研究;

基于层次结构的多策略中文微博情感分析和特征抽取

谢丽星,周明,孙茂松- 中文信息学报, 2012 - https://www.sodocs.net/doc/654883576.html, 三种情感分析方法的研究:表情符号的规则方法、情感词典的规则方法、基于SVM的层次结构的多策略方法。

主题无关的情感分析:不关心情感极性所描述的对象,有基于词典的方法、有监督的机器学习和无监督的方法。

主题相关的情感分析:基于规则的方法;基于特征(属性)的方法。

主客观分类特征、极性分类特征:链接、表情、情感词典、情感短语、上下文

微博消息句子构成特征:首句、尾句情感极性,正负中情感句数

主题相关的句子筛选:包含主题词的句子、零指代情感、主题词相邻的一定范围内。

本文中主题无关的最佳组合方法:单句用一步三分类,特征为表情+词典+短语+上下文,整体为句子组成SVM,特征为首句尾句极性+三种情感极性句子数。

主题相关的特征(本文提供主题词来获取数据):测试三种主题相关句子筛选方法。

本文后续工作:构建网络用语词典;深入研究主题相关的特征;构建图模型。

Cross-Lingual Mixture Model for Sentiment Classification X Meng, F Wei, X Liu, M Zhou, G Xu… - Proceedings of the 50th …, 2012 - https://www.sodocs.net/doc/654883576.html, 问题:英语的标记数据比其他语言多,很多现存的方法都是直接用机器翻译将源语言翻译为目标语言,以获取标记数据,但是翻译后的词典覆盖率有限,且翻译本身的准确性限制。

解决:提出跨语言混合模型,利用平行语料库,可以提高词典覆盖率,通过在飞标注的平行语料中学习情感词,同时在源语言与目标语言间传递极性标签信息。

思路:把平行语料库中的未标注数据的极性当做隐变量,而语料库中的可观察的词语当做是基于隐变量的词语生成分布来生成的。给定一个平行语料库,通过最大化生成这个语料库的似然值来fit CLMM模型,通过最大化似然值,CLMM可以估计没在标记数据中出现但是在平行语料中出现的词语的产生概率,进而扩展词典。另外,CLMM还能利用源语言和目标语言中的词语来判断平行语料中句子的极性。

Cross-Domain Co-Extraction of Sentiment and Topic Lexicons

F Li, SJ Pan, O Jin, Q Yang, X Zhu - … of the 50th Annual Meeting of the …, 2012 - https://www.sodocs.net/doc/654883576.html, 问题:之前的工作表明监督方法的有效性,但是却需要人工标注训练数据。

解决:本文提出一个domain自适应的方法来得到情感和主题词典,不需要任何标注数据,但是需要另外一个相关领域的标注数据。首先,在目标域中生成一些有高置信度的情感和主题词种子,然后提出一个新的Relational Adaptive bootstraPping算法根据源域中标注数据的情感词和主题词的关系来在目标域中扩展种子,进而得到目标域的情感主题词典。

1.情感词种子生成:源域中的情感词作为候选,用公式(1)得到得分最高的top r 个词汇作

为情感词种子

2.主题词种子生成:在源域中抽取出情感词与主题词的所有pattern及主题词作为候选,

根据公式(2)得到pattern的得分,Acc(Rj)是在源域中pattern Rj的准确率,Freq(Rj)是在目标域中的出现频率。选取得分最高的top r个pattern作为种子,然后根据公式(3)选取得分最高的top r 个词作为主题词种子。B是情感词种子集合,A是满足wi,wk的模式集合。

3.种子扩展:

Twitter Sentiment Classification using Distant Supervision

A Go, R Bhayani, L Huang - CS224N Project Report, Stanford, 2009 - https://www.sodocs.net/doc/654883576.html, Tweets出现在新闻标题中或者维基百科中,则认为其为中性。

Tweets的特性:长度,可用数据多,语言模型(数据格式杂乱,错误常出),没有特定领域。方法:分类器用了NB,最大熵,SVM,特征用了unigrams,bigrams,两个的结合,unigrams 结合POS(词性标注) tags。

训练数据:用twitter API检索:)和:(下载包含emotion(分为正负极性两种表情符号)的tweets 数据,对数据进行预处理(去掉emotions,删去有两种极性emotion的tweet,删去重复数据

等等),最终得到1600000个tweets。训练数据中要把emotion去掉,引发的问题是由于训练数据没有用emotion特征,因而测试数据中有emotion特征时,对其分类无影响,这是一个需要解决的问题。

测试数据:用不同的领域的query term检索tweets,对其标注形成测试数据。

实验后发现,单独的unigrams比bigrams效果好,因为bigram数据稀疏,两种结合的特征,NB和最大熵正确率提高,但是SVM降低。而POS特征对分类无明显影响。

以后需要解决的问题:语义问题,特殊领域的情感分类,中性tweets的处理,其他语言的情感分类,测试数据中emotion特征的应用。

Target-dependent Twitter Sentiment Classification

L Jiang, M Yu, M Zhou, X Liu, T Zhao - ACL, 2011 - https://www.sodocs.net/doc/654883576.html,

问题:以往的工作大多是target无关的情感分析,即只分析情感,而没有考虑情感对应的对象;由于tweets的特殊性(短小且多歧义,一个tweets中可能涉及多个target,或者同一个tweet中有很多与target无关的说明),情感分析时会造成内容不够,数据稀疏。所以有必要进行target相关的情感分析,同时扩展相关的tweets,综合分析得到结果。

方法:采用三步进行分析:主客观分类,极性分类,基于图的优化。前两步采用相同的特征,SVM分类器。

1.数据预处理:tweets标准化,词性标注,词干,句法分析

2.target无关的特征:词、标点、表情符号、hashtag、情感词典特征(即句子中有多少正负

极性词语)

3.Target扩展:首先,包含target的名词短语作为扩展目标;然后,与target有co-reference

的也作为扩展目标;用点互信息求出与target最相关的K个名词和名词短语,抽取出所有扩展目标的中心名词,如果其与target的点互信息大于阈值,则也作为扩展目标。

Target有关的特征:依靠句法分析树,得到多种特征,比如,I love iPhone得到love_arg2,Flower is beautiful得到Flower_arg1,等等。

4.基于图的情感优化:

相关tweets的获取:retweets(转发的),同一人发的包含target的tweets,对该tweet 的回复。对于不同扩展,将其用不同的连线与原本的tweet连接,形成图。进而:

对于图中的每个tweet,计算出p(c|t,G),输出其中p最大的一个。

5.实验:实验的训练和测试数据用不同的query term(Obama,Google,iPad,Lakers,Lady Gaga)

从twitter上获取,人工标注其极性,得到459个+,268个-,1212个中性tweets。

Future work:探索target与扩展target的关系,哪些情感有相关,哪些不会。

文本情感分析综述

文本情感分析综述? 赵妍妍+, 秦兵, 刘挺 (哈尔滨工业大学计算机科学与技术学院信息检索研究中心, 黑龙江哈尔滨 150001) A Survey of Sentiment Analysis * ZHAO Yan-Yan+, QIN Bing, LIU Ting (School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China) + Corresponding author: Phn: +86-451-86413683 ext 800, E-mail: zyy@https://www.sodocs.net/doc/654883576.html, Abstract: Sentiment analysis is a novel research topic with the quick development of online reviews, which has drawn interesting attention due to its research value and extensive applications. This paper surveys the state-of-the-art research on sentiment analysis. First, three important tasks of sentiment analysis are summarized and analyzed in detail, including sentiment extraction, sentiment classification, sentiment retrieval and summarization; then the evaluation and corpus for sentiment analysis are introduced; finally the applications of sentiment analysis are concluded. This paper aims to take a deep insight into the mainstream methods and recent progress in this field, making detailed comparison and analysis. It is expected to be helpful to the future research. Key words: sentiment analysis; sentiment extraction; sentiment classification; sentiment retrieval and summarization; evaluation; corpus 摘 要: 文本情感分析是随着网络评论的海量增长而迅速兴起的一个新兴研究课题,其研究价值和应用价值受到人们越来越多的重视.本文对文本情感分析的研究现状与进展进行了总结.首先将文本情感分析归纳为三项主要任务,即情感信息抽取,情感信息分类以及情感信息的检索与归纳,并对它们进行了细致的介绍和分析;进而介绍了文本情感分析的国内外评测和资源建设情况;最后介绍了文本情感分析的应用.文本重在对文本情感分析研究的主流方法和前沿进展进行概括,比较和分析,以期对后续研究有所助益. 关键词: 文本情感分析;情感信息抽取;情感信息分类;情感信息的检索与归纳;评测;资源建设 中图法分类号: TP391文献标识码: A 随着Web2.0的蓬勃发展,互联网逐渐倡导“以用户为中心,用户参与”的开放式构架理念.互联网用户由单纯的“读”网页,开始向“写”网页、“共同建设”互联网发展,并由被动地接收互联网信息向主动创造互联网信息迈进.因此,互联网(如:博客和论坛)上产生了大量的用户参与的,对于诸如人物、事件、产品等有价值的评论信息.这些评论信息表达了人们的各种情感色彩和情感倾向性,如“喜”、“怒”、“哀”、“乐”,和“批评”、“赞扬”等.基于此,潜在的用户就可以通过浏览这些主观色彩的评论,来了解大众舆论对于某一事件或产品的看法.由于越来越多的用户乐于在互联网上分享自己的观点或体验,这类评论信息迅速膨胀,仅靠人工的方法难以应对网上海量信 ?Supported by the National Natural Science Foundation of China under Grant Nos. 60803093, 60975055 (国家自然科学基金) and the “863” National High-Tech Research and Development of China via grant 2008AA01Z144(863计划探索类专题项目)

情感分析简述

情感分析简述 分类:NLP2012-04-08 12:38 1022人阅读评论(3) 收藏举报情感classification算法测试translationmatrix 情感分析,我研究了也有半年有余了,ACL Anthology上关于情感分析的论文也基本看过了一遍,但是到目前还没有什么成就的。以下是我为一位同学毕业设计写的情感分析方面的综述,引用的论文基本上是ACL 和COLING还有EMNLP上历年关于情感分析的论文,本文应该学术性比较强一点,本文虽不打算发表,但由于将来可能还有用,以及关于学术上的原因,请大家如果要引用请务必标明出处 (https://www.sodocs.net/doc/654883576.html,/s/blog_48f3f8b10100irhl.html)。 概述 情感分析自从2002年由Bo Pang提出之后,获得了很大程度的研究的,特别是在在线评论的情感倾向性分析上获得了很大的发展,目前基于在线评论文本的情感倾向性分析的准确率最高能达到90%以上,但是由于深层情感分析必然涉及到语义的分析,以及文本中情感转移现象的经常出现,所以基于深层语义的情感分析以及篇章级的情感分析进展一直不是很大。情感分析还存在的一个问题是尚未存在一个标准的情感测试语料库,虽然Bo Pang实验用的电影评论数据集(https://www.sodocs.net/doc/654883576.html,/people/pabo/movie-review-data/)以及Theresa Wilson等建立的MPQA(https://www.sodocs.net/doc/654883576.html,/mpqa/)是目前广泛使用的两类情感分析数据集,但是并没有公认的标准加以确认。 目前情感分析的研究基本借鉴文本分类等机器学习的方法,还没有根据自身的特点形成一套独立的研究方法,当然在某种程度上也可以把情感分析看出一种特殊的文本分类。比较成熟的方法是基于监督学习的机器学习方法,半监督学习和无监督学习目前的研究不是很多,单纯的基于规则的情感分析这两年已很少研究了。既然目前很多情感分析的研究基于机器学习,那么特征选择就是一个很重要的问题,N元语法等句法特征是使用最多的一类特征,而语义特征(语义计算)和结构特征(树核函数)从文本分类的角度看效果远没有句法特征效果好,所以目前的研究不是很多的。 由于基于监督学习情感分析的研究已经很成熟了,而且在真实世界中由于测试集的数量要远远多于训练集的数量,并且测试集的领域也不像在监督学习中被限制为和训练集一致,也就是说目前情感分析所应用的归纳偏置假设在真实世界中显得太强的,为了和真实世界相一致,基于半监督学习或弱指导学习的情感分析和跨领域的情感分析势必是将来的研究趋势之一。 在情感分析的最初阶段基于语义和基于规则的情感分析曾获得了比较大的重视,但是由于本身实现的复杂性以及文本分类和机器学习方法在情感分析应用上获得的成功,目前关于这方面的研究以及很少了,但是事实上,语义的相关性和上下文的相关性正是情感分析和文本分类最大的不同之处,所以将基于语义和规则的情感分析与基于机器学习的情感分析相结合也将是未来的研究趋势之一。 以下将分别对情感分析的起源,目前基于监督学习,无监督学习,基于规则和跨领域的情感分析的一些研究工作进行简单的介绍。 起源 虽然之前也有一些相关工作,但目前公认的情感分析比较系统的研究工作开始于(Pang et al., 2002)基于监督学习(supervised learning)方法对电影评论文本进行情感倾向性分类和(Turney,2002)基于无监督学习(unsupervised learning)对文本情感情感倾向性分类的研究。(Pang et al., 2002)基于文本的N元语法(ngram)和词类(POS)等特征分别使用朴素贝叶斯(Naive Bayes),最大熵(Maximum Entropy)和支持向量机(Support Vector Machine,SVM)将文本情感倾向性分为正向和负向两类,将文本的情感进行二元划分的做法也一直沿用至今。同时他们在实验中使用电影评论数据集目前已成为广泛使用的情感分析的测试集。(Turney ,2002)基于点互信息(Pointwise Mutual Information,PMI)计算文本中抽取的关键词和种子词(excellent,poor)的相似度来对文本的情感倾向性进行判别(SO-PMI算法)。 在此之后的大部分都是基于(Pang et al., 2002)的研究。而相对来说,(Turney et al.,2002)提出的无监督学习的方法虽然在实现上更加简单,但是由于单词之间的情感相似度难以准确的计算和种子词的难以确定,继续在无监督学习方向的研究并不是很多的,但是利用SO-PMI算法计算文本情感倾向性的思想却被很多研究者所继承了。 监督学习 目前,基于监督学习的情感分析仍然是主流,除了(Li et al.,2009)基于非负矩阵三分解(Non-negative Matrix Tri-factorization),(Abbasi et al.,2008)基于遗传算法(Genetic Algorithm)的情感分析之外,使用的最多的监督学习算法是朴素贝叶斯,k最近邻(k-Nearest Neighbor,k-NN),最大熵和支持向量机的。而对于算法的改进主要在对文本的预处理阶段。 一个和文本分类不同地方就是情感分析有时需要提取文本的真正表达情感的句子。(Pang et al., 2004)基于文本中的主观句的选择和(Wilson el al.,2009)基于文本中的中性实例(neutral instances)的分析,都是为了能够尽量获得文本中真正表达情感的句子。(Abbasi et al.,2008)提出通过信息增益(Information Gain,IG)的方法来选择大量特征集中对于情感分析有益的特征。 而对于特征选择,除了N元语法和词类特征之外,(Wilson el al.,2009)提出混合单词特征,否定词特征,情感修饰特征,情感转移特征等各类句法特征的情感分析,(Abbasi et al.,2008)提出混合句子的句法(N元语法,词类,标点)和结构特征(单词的长度,词类中单词的个数,文本的结构特征等)的情感分析。 除了对于文本的预处理,对于监督学习中情感分析还进行了以下方面的研究的。(Melville et al., 2009)和(Li et al.,2009)提出结合情感词的先验的基于词典的情感倾向性和训练文本中后验的基于上下文的情感情感倾向性共同判断文本的情感倾向性。(Taboada et al.,2009)提出结合文本的题材(描述,评论,背景,解释等)和文本本身的特征共同判断文本的情感倾向性。(Tsutsumi et al.,2007)提出利用多分类器融合技术来对文本情感分类。(Wan, 2008)和(Wan, 2009)提出结合英文中丰富的情感分析资源来提高中文情感分析的效果。 基于规则/无监督学习

文本情感分析论文总结

文本情感分析 赵妍妍,秦兵,刘挺- 软件学报, 2010 - https://www.sodocs.net/doc/654883576.html, 按粒度,情感分析可分为词语级、短语级、句子级、篇章级、多篇章级;按文本类别,可分为基于新闻评论和基于产品的情感分析。 情感分析的研究任务:情感信息的抽取、分类以及检索与归纳。 一、情感信息抽取(评价词语、评价对象、观点持有者) 1.评价词语的抽取:基于语料库的抽取;基于词典的抽取;基于图的方法。 2.评价对象的抽取:基于规则/模板的方法(词序列、词性、句法规则、关联规则挖掘);评 价对象最为产品属性,考察评价对象与领域指示词的关联度来获取;多粒度的话题模型方法。 3.观点持有者抽取:命名实体识别技术(人名或机构名)、语义角色标注;分类任务,看做 序列标注问题,使用CRF融合特征抽取;名词短语作为候选,使用ME模型计算。 4.组合评价单元的抽取: 主观表达式:Wiebe的主观表达式库(抽取n元词语/词组作为候选,对比训练预料判断) 评价短语抽取(程度副词-评价词语):情感词典的方法;依存句法解构(ADV,ATT,DE)。 评价搭配抽取(评价词语-评价对象):基于模板的方法(8个共现模板、句法关系模板)。 二、情感信息分类 1.主客观信息分类:文本是否含情感知识方法;组合评价单元判断;情感模板识别;基于 分类器和分类特征的二元分类任务(词语特征,标点、人称代词、数字特征,基于图); 2.主观信息情感分类(句子级、篇章级):基于情感知识、基于特征分类的方法(n-gram词语 特征和词性特征、位置特征、评价词特征)。 三、情感信息的检索与归纳 1.情感信息检索 2.情感信息归纳 基于产品属性的情感文摘:识别评论信息中的产品属性,抽取描述产品属性的情感句,判断其倾向性。 基于情感标签的情感文摘:标签可定义为评价搭配形式,建立标签库,相似度聚类的方法聚类得到相似的情感标签,每一类视为潜在的话题(即产品属性)。 基于新闻评论的文摘 四、情感分析的评测与资源 1.情感分析的评测:TREC,NTCIR的MOAT(新闻观点检测,情感问答,跨语言情感分析), 国内的COAE。 2.情感分析的语料:康奈尔大学的影评数据集,UIC的Hu和Liu的产品领域的评论语料, Wiebe的MPQA新闻评论深度标注语料,MIT的多角度餐馆评论语料,中科院的中文酒店评论语料。 3.词典资源:GI(general inquirer)评价词词典,NTU评价词词典(繁体中文),主观词词典(英 文),HowNet评价词词典(简体中文、英文) 问题:情感信息抽取忽略词语所在语境的影响;评价对象的情感分类,而非句子级或篇章级;基于情感标签的情感文摘的深入研究;

基于深度学习的文本情感分析技术研究

基于深度学习的文本情感分析技术研究 在Web2.0时代,信息技术飞速发展,人们越来越多地在网络平台上发表自己的观点和意见。随着这些评论数据量的爆炸式增长,如何提取利用其中的情感信息也成为人们的关注热点,文本情感分析技术随之兴起。情感分析工作就是对含有情感色彩的主观性文本进行分析,挖掘出其蕴含的情感倾向的过程,而文本的主客观分析是情感态度分析的基础。作为自然语言处理领域的一个重要分支,情感分析在理论方面有着较高的研究意义。随着词向量的提出,基于深度学习的自然语言处理技术快速发展。面对大量的文本数据,深度神经网络强大的学习表达能力得到了展现。本文对基于深度学习的文本情感分析技术进行研究,主要工作如下:第一,构建了基于多头自注意力机制的文本情感分析模型。研究了深度学习中的注意力机制,其中自注意力机制能够关注到文本内部词语之间的依赖关系。因此,在文本情感分析任务上,引入了多头自注意力机制,并通过结合非线性子层双向门控循 环单元增强模型的学习能力。实验结果表明,构建的模型在情感分析任务上的准确率得到了提升。第二,针对情感分析的子任务主客观分析,构建了基于线性门控卷积的网络模型。通过对不同的门控机制进行研究,在卷积神经网络的基础上引入了线性门控机制;并使用多个 不同尺寸的卷积核提取文本特征。实验结果表明,构建的模型在主客观分析任务上表现突出,性能优于其他模型。论文主要的创新点和贡献是:将多头自注意力机制引入到文本情感分析领域,并通过结合非 线性子层对模型进行了改进,提升了模型的准确率;在文本主客观分

析任务上,通过线性门控机制对卷积网络进行改进,并根据文本数据的特性构建了不同尺寸的卷积核,有效地提升了模型的性能。

文本情感分析

ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.sodocs.net/doc/654883576.html, Journal of Software, V ol.21, No.8, August 2010, pp.1834?1848 https://www.sodocs.net/doc/654883576.html, doi: 10.3724/SP.J.1001.2010.03832 Tel/Fax: +86-10-62562563 ? by Institute of Software,the Chinese Academy of Sciences. All rights reserved. 文本情感分析 ? 赵妍妍+ , 秦兵, 刘挺 (哈尔滨工业大学计算机科学与技术学院信息检索研究中心,黑龙江哈尔滨150001) Sentiment Analysis ZHAO Yan-Yan + , QIN Bing, LIU Ting (Center for Information Retrieval, School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China) + Corresponding author: E-mail: yyzhao@https://www.sodocs.net/doc/654883576.html, Zhao YY, Qin B, Liu T. Sentiment analysis. Journal of Software, 2010,21(8):1834?1848.https://www.sodocs.net/doc/654883576.html,/ 1000-9825/3832.htm Abstract: This paper surveys the state of the art of sentiment analysis. First, three important tasks of sentiment analysis are summarized and analyzed in detail, including sentiment extraction, sentiment classification, sentiment retrieval and summarization. Then, the evaluation and corpus for sentiment analysis are introduced. Finally, the applications of sentiment analysis are concluded. This paper aims to take a deep insight into the mainstream methods and recent progress in this field,making detailed comparison and analysis. Key words: sentiment analysis; sentiment extraction; sentiment classification; sentiment retrieval and summarization; evaluation; corpus 摘要: 对文本情感分析的研究现状与进展进行了总结.首先将文本情感分析归纳为3项主要任务,即情感信 息抽取、情感信息分类以及情感信息的检索与归纳,并对它们进行了细致的介绍和分析;进而介绍了文本情感分 析的国内外评测和资源建设情况;最后介绍了文本情感分析的应用.重在对文本情感分析研究的主流方法和前 沿进展进行概括、比较和分析. 关键词: 文本情感分析;情感信息抽取;情感信息分类;情感信息的检索与归纳;评测;资源建设 中图法分类号: TP391 文献标识码: A 随着Web2.0的蓬勃发展,互联网逐渐倡导“以用户为中心,用户参与”的开放式构架理念.互联网用户由单纯 的“读”网页,开始向“写”网页、“共同建设”互联网发展,并由被动地接收互联网信息向主

开题报告(文献综述)-在线评论分析系统的情感分析

开题报告(文献综述)-在线评论分析系统的情感分析本科毕业设计(论文)开题报告 论文题目在线评论分析系统的情感分析开题报告内容: 一、选题的背景及意义 近年来,在“大数据”(Big Data)时代的背景下,随着电子商务行业的蓬勃发展,网络购物平台、手机APP应用市场平台等不仅为用户提供了大量商品信息,同时还允许用户参与商品评论。它不仅为商家提供了一个信息的展示平台以发布新产品的规格数据,也为消费者提供了一个产品使用体验交流以及质量评价的平台。因此很多网络用户在购买或使用某类产品前,往往会选择先上网浏览一些该产品的相关信息,尤其是其他用户的使用体验,多方比较产品的性能,从而使自己的消费和选择更趋理性化。分析这些评论信息,蕴含着巨大的商业价值和社会价值,具有很大的现实意义。 然而,这些主观性评论文本每天以指数级的速度增长,仅靠人工方式难以进行 收集、处理和分析。因此采用计算机技术来自动地分析这些主观性文本表达的情感,成为目前数据挖掘(Data Mining)研究的一个热点,而这个热点的研究方向就是文本情感分析(Sentiment Analysis)。 文本情感分析,也称为意见挖掘(Opinion Mining),是指通过分析和挖掘文本中的表达情感、观点和立场的主观性信息并判断其情感倾向。它涉及自然语言处理(Natural Language Processing)、计算机语言学(Computational Linguistics)、机器学习(Machine Learning)、信息检索(Information Retrieval)等众多领域,在计算机科学、管理学、政治学、经济学和社会学方向都有广泛的应用。进入21 世纪以后,情感分析这个领域变得活跃起来,吸引越来越多的学者投入其中。目前

文本情感分析研究现状

文本情感分析研究现状 机器之心专栏 作者:李明磊 作为NLP 领域重要的研究方向之一,情感分析在实际业务场景中 存在巨大的应用价值。在此文中,华为云NLP 算法专家李明磊为 我们介绍了情感分析的概念以及华为云在情感分析方面的实践和 进展。 基本概念 为什么:随着移动互联网的普及,网民已经习惯于在网络上表达意见和建议,比如电商网站上对商品的评价、社交媒体中对品牌、产品、政策的评价等等。这些评价中都蕴含着巨大的商业价值。比如某品牌公司可以分析社交媒体上广大民众对该品牌的评价,如果负面评价忽然增多,就可以快速采取相应的行动。而这种正负面评价的分析就是情感分析的主要应用场景。 是什么:文本情感分析旨在分析出文本中针对某个对象的评价的正负面,比如「华为手机非常好」就是一个正面评价。情感分析主要有五个要素,(entity/实体,aspect/属性,opinion/观点,holder/观点持有者,time/时间),其中实体和属性合并称为评价对象(target)。情感分析的目标就是从非结构化的文本评论中抽取出这五个要素。

图1 情感分析五要素 举例如下图: 图2 情感分析五要素例子 上例中左侧为非结构化的评论文本,右侧为情感分析模型分析出的五个要素中的四个(不包括时间)。其中实体「华为手机」和属性「拍照」合并起来可以作为评价对象。评价对象又可细分为评价对象词抽取和评价对象类别识别。如实体可以是实体词和实体类别,实体词可以是「餐馆」、「饭店」、「路边摊」,而实体类别是「饭店」;属性可以是属性词和属性类别,如属性词可以是「水煮牛肉」、「三文鱼」等,都对应了属性类别「食物」。实体类别和属性类别相当于是对实体词和属性词的一层抽象和归类,是一对多的关系。词和类别分别对应了不同的

文本情感分析综述

随着企业信息化与互联网的发展,信息以爆炸性速度飞速增长,其中包括了大量的非结构化与半结构化数据。非结构化与半结构化数据,主要是文本型数据,阐述5w问题,即who,when,where,what,Why。如何充分利用非结构化数据与半结构化数据,分析其包含的潜在信息,拥有支持决策,成为了众多企业与研究者关注的重点。尤其,针对互联网(如博客和论坛)上大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等。基于此,潜在的用户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法。由于越来越多的用户乐于在互联网上分享自己的观点或体验,这类评论信息迅速膨胀,仅靠人工的方法难以应对网上海量信息的收集和处理,因此迫切需要计算机帮助用户快速获取和整理这些相关评价信息。因此,如何从这些Web文本中进行情感挖掘,获取情感倾向已经成为当今商务智能领域关注的热点。情感分析(sentiment analysis)技术也就应运而生(本文中提及的情感分析,都是指文本情感分析)。 文本情感分析(sentiment analysis),又称为意见挖掘,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。其中,主观情感可以是他们的判断或者评价,他们的情绪状态,或者有意传递的情感信息。因此,情感分析的一个主要任务就是情感倾向性的判断,Pang等人在文献1中将情感倾向分为正面、负面和中性,即褒义、贬义和客观评价。研究初期,大量研究者都致力于针对词语和句子的倾向性判断研究,但随着互联网上大量主观性文本的出现,研究者们逐渐从简单的情感词语的分析研究过渡到更为复杂的情感句研究以及情感篇章的研究。文本情感分析主要可以归纳为3项层层递进的研究任务,即情感信息的抽取、情感信息的分类以及情感信息的检索与归纳[2]。情感信息抽取就是将无结构的情感文本转化为计算机容易识别和处理的结构化文本。情感信息分类则是利用情感信息抽取的结果将情感文本单元分为若干类别,供用户查看,如分为褒、贬、客观或者其他更细致的情感类别。情感信息检索和归纳可以看作是与用户直接交互的接口,强调检索和归纳的两项应用。 情感分析是一个新兴的研究课题,具有很大的研究价值和应用价值,正受到国内外众多研究者的青睐。目前实现情感分析的技术主要包括基于机器学习法和基于语义方法两类。本文主要针对这两大方法的研究进展进行比较分析,接着介绍国内外现有的资源建设情况,最后介绍情感分析的几个重要应用和展望它的发展趋势。 1 基于统计机器学习法 随着大规模语料库的建设和各种语言知识库的出现,基于语料库的统计机器学习方法进入自然语言处理的视野。多种机器学习方法应用到自然语言处理中并取得了良好的效果,促进了自然语言处理技术的发展。机器学习的本质是基于数据的学习(Learning from Data)。利用机器学习算法对统计语言模型进行训练,最后用训练好的分类器对新文本情感进行识别。2002年,Pang 等人就在文献[1]中提出用机器学习的方法进行情感倾向的挖掘工作,他们以互联网上的电影评论文本作为语料,采用了不同的特征选择方法,应用朴素贝叶斯(Naive Bayes)、最大熵(Maximum Entropy)、向量机(SVM)对电影评论分别进行分类,实验表明SVM 的分类性能最好,准确率达到87.5%。该研究引起学术界的关注,之后用于倾向性判断的机器学习算法的改进被陆续提出,基本的算法有:支持向量机(SVM)、朴素贝叶斯(NB)、K-近邻(KNN)、简单线性分类器(SLC)和最大熵(ME)等。他们在另一项工作中,将文本极性分类问题转换成求取句子连接图的最小分割问题,实现了一个基于minimum-cut的分类器。[7]。Whitelaw等人[11]关注研究带形容词的词组及其修饰语(如“extremely boring”或“not really verygood”),他们提取带形容词的词组作为特征,基于这些特征,用向量空间模型表示文

文本情感分类研究综述

Web文本情感分类研究综述 王洪伟/刘勰/尹裴/廖雅国 2012-9-27 14:55:59 来源:《情报学报》(京)2010年5期【英文标题】Review of Sen time nt Classificati on on Web Text 【作者简介】王洪伟,男,1973年生,博士,副教授/博士生导师,研究方向:本体建模和情感计算,E-mail:hwwa ng@t on https://www.sodocs.net/doc/654883576.html,.c n 。同济大学经济与管理学院,上海200092; 刘勰,男,1985年生,硕士研究生,研究方向:数据挖掘与情感计算。同济大学经济与管理学院,上海200092; 尹裴,女,1986年生,硕士研究生,研究方向:商务智能。同济大学经济与管理学院,上海200092; 廖雅国,男,1954年生,博士,教授,研究方向:人工智能与电子商务。香港理工大学电子计算学系,香港 【内容提要】对用户发表在Web上的评论进行分析,能够识别出隐含在其中的情感信息,并发现用户情感的演变规律。为此,本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务:主客观分类、极性判别和强度判别,对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状,并指出今后的研究方向。 Analyzing the users' reviews on the Webcan help us to identify users' implicit

sen time nts and find the evoluti on laws of their emoti on. To this end, this paper is a survey about the sen time nt classificati on on the Web text. We divided the process of classificati on into three categories:subjective and objective classification,polarity iden tificati on and in ten sity ide ntificati on and respectively summarize the rese nt research achieveme nts in these fields. We also sorted the methods of polarity identification into two types: one is based on the emotional words with semantic characteristics, while the other statistic methods of natural Ianguage processing. What is more, the choice of corpus and pote ntial research problems are discussed. At last, this paper summarized the status quo of applicatio n and poin ted out the direct ion of future research. 【关键词】Web文本/情感分类/综述/主观性文本Web texts/Sentiment classificati on/Survey/Subjective text 随着互联网的流行,Web文本成为我们获取信息、发表观点和交流情感的重要来源。特别是随着Web2.0技术的发展,网络社区、博客和论坛给网络用户提供了更宽广的平台来交流信息和表达意见。这些文章和言论往往包含有丰富的个人情感,比如对某部大片的影评,对某款手机的用户体验等,其中蕴含着巨大的商业价值。如何从这些Web文本中进行情感挖掘,获取情感倾向已经成为当今商务智能领域关注的热点。所谓情感分析(sentiment analysis),就是确定说话人或作者对某个特定主题的态度。其中,态度可以是他们的判断或者评估,他们(演说、写作时)的情绪状态,或者有意(向受众)传递的情感信息。因此,情感分析的一个重要问题就是情感倾向性的判断,即判断作者的观点是褒义的、积极的,还是贬义的、消极的。这类问题也被称为情感分类(sentiment classification) 。

文本情感分析:让机器读懂人类情感

文本情感分析:让机器读懂人类情感 1 引言 在大数据和人工智能的时代,机器能否拥有情感成为人们热议的话题。真正的人工智能系统不仅具有像人类的思考和推理能力,也需要也要能够感知和表达情感。MIT 的Minsky (人工智能之父)早在1985年在“The Society of Mind”中指出“问题不在于智能机器能否拥有任何情感,而在于机器实现智能时怎么能够没有情感?”。赋予机器情感分析能力引起了社会的广泛关注,研究领域也开展了很多相关的研究工作。科幻电影《她》中人工智能系统和主人公谈恋爱的故事,激发了人们对机器具有人类情感的无限想象。那么,机器是怎样理解人类情感呢?通常来讲,机器理解人类情感是一个多模态的感知过程,通过表情、行为、语言来理解情感。语言通常以文本的形式存在,本文主要是从文本的角度讨论情感分析的研究。 2 文本情感分析定义 文本情感分析([1],[2])是自然语言处理研究的一个热点,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。按照Liu[2]对情感的定义,情感表达由四个元素构成,分别是[Holder,Target,Polarity,Time],其中文本发表的时间通常可以使用简单的规则获取,因此情感分析的目标通常是从无结构的文本中自动分析出Holder(观点持有人)、Target(评价对象)、Polarity(极性)三元素。Holder是观点的发出者;Target是该观点评价的对象(如实体或实体的属性,或者话题);Polarity是所表达的情感类别,由于任务不同,情感类别体系会不同,通常包括褒贬、褒贬中、喜怒哀乐悲恐惊、情感打分(如1-5分)等分类体系。文本中的情感又分为显式情感及隐式情感,显式情感是指包含明显的情感词语(例如高兴、漂亮)情感文本,隐式情感是指不包含情感词语的情感文本,例如“这个桌子上面一层灰”。由于隐式情感分析难度比较大,比较依赖于背景知识及常识知识,目前许多工作集中在显示情感分析研究。 目前的情感分析研究可归纳为:情感资源构建、情感元素抽取、情感分类及情感分析应用系统,具体见图1。 图1 情感分析研究框架 3 情感分析研究任务 情感分析任务和其他自然语言处理任务一样,首先需要资源的支持,在此基础上,开展情感分析元素抽取以及文本情感分类工作,下面我们将进行简要介绍。

面向理解的文本情感分析研究

面向理解的文本情感分析研究 伴随着互联网的飞速发展,用户使用网络的方式悄然转变。用户 正在从单纯的信息获取者成为信息的发布者。这种转变使得大量带有个人情感的信息在网络中传播、发酵、聚集,并作用于真实社会。如 何对网络中的情感信息进行分析和理解是自然语言处理研究的重要 课题,同时,相关技术也具有广泛的应用。目前情感分析的相关研究取得了很大进展,但是依然存在一些问题:第一、在数据层面,对于面向 具体语言或领域的标注数据不足,往往影响了情感分析系统的性能。 针对这一问题,基于迁移学习的情感分析方法取得了一定的进展,但 是相关研究对于数据迁移过程中的错误累积以及由此引起的负面迁 移现象缺乏深入的研究,导致基于迁移学习的情感分析性能受到制约。第二、在语义层面,目前主流的基于表示学习的情感分析方法往往将 情感文本和情感要素作为多个孤立的研究对象,缺乏统一的计算体系 对这些对象之间的潜在语义关系进行分析和理解,影响细粒度情感分 析性能的同时,也阻碍了对文本情感理解的深入。第三、在认知层面,目前的文本情感分析研究大多数集中在对文本情感表达的分析,但对 于如何发现文本中所蕴含的情感产生原因缺乏系统地研究,阻碍了面 向理解的情感分析研究的深入。针对上述三个层面的问题,本文主要 进行了以下的研究工作:在数据层面,针对样例迁移过程中的负面迁 移问题,本文提出了一种基于高斯分布负面迁移检测的情感分析方法。该方法一方面通过基于高斯分布的类噪声估计结果对迁移过程中可 能误选的错误样本进行检测和筛选,另一方面利用类噪声估计的结果

对当前分类器进行基于近似可学习理论的性能估计,从而预估当前迁移周期之后分类器的性能变化趋势,以避免负面迁移的产生。在跨语言和跨领域情感分析数据集上的实验结果显示,基于高斯分布负面迁移检测的方法可以有效地迁移来自其他语言和领域的标注数据,有效提高了目标语言和目标领域情感分析的性能。分析显示,基于高斯分布负面迁移检测方法性能优于其他典型样例迁移方法,同时该方法可以保证分类器性能的总体上升趋势。对基于高斯分布负面迁移检测方法的理论分析显示,该方法受到稠密的数据分布以及数据先验知识要求的制约。为此,本文提出了一种基于拉德马赫和分布的类噪声估计算法。这一算法利用最大熵对噪声的先验分布进行约减,并使用拉德马赫和分布替代高斯分布进行类噪声的估计,从而规避了对稠密数据分布以及数据先验知识的要求。在此基础上,提出了一种基于类噪声估计结果的损失函数修正算法,通过理论分析证明了在训练数据足够多的前提下该算法的收敛性。在面向跨语言和跨领域的情感分析数据集上的实验结果显示,基于拉德马赫和分布的负面迁移检测方法比目前主流方法性能更为可靠,进一步提高了跨语言和跨领域情感分析的准确性与通用性。这一结果也显示在数据层面上进行迁移学习对提高文本情感分析性能的有效性。在语义层面,针对现有基于表示学习的情感分析方法往往将词语语义表示、情感持有者语义表示、情感对象语义表示作为孤立表示任务的不足,本文提出了一种面向多源异质信息的统一语义表示方法。通过构建基于共现统计信息的多源异质网络,对情感词语、情感持有者、情感对象之间的潜在关系进行基于网络结

中文文本情感分析 需求及设计报告

需求规约 项目介绍 项目背景 文本情感分析又称意见挖掘,是对包含用户观点、喜好、情感等主观性文本进行挖掘、分析 及判别它是一个多学科交叉的研究领域,涉及概率论、数据统计分析、计算机语言学、自然语言 处理、机器学习、信息检索、本体学 ( Ontology) 等多个学科及其相关技术。鉴于其在用户 意见挖掘、垃圾邮件过滤及舆情分析等多个领域具有重要的应用价值,文本情感分析正受到国内外众多研究机构和学者的重视。 情感分析可归纳为情感信息抽取、情感信息分类及情感信息的检索与归纳三项层层递进的研究任务。本文研究的重点是情感信息分类,旨在将文本情感分为褒义、贬义两类或者更细致的情感类别。按照分析文本的粒度不同,情感信息分类可分为词语级、短语级、句子级、篇章级等几个研究层次。 目前,情感分类大致涌现出两种研究思路: 基于情感知识和基于特征。 前者主要是基于已有的情感词典或情感知识库对文本中带有情感或极性的词( 或词语单元) 进行加 权求和,而后者主要是对文本提取具有类别表征意义的特征,再基于这些特征使用机器学习算法进行分类。 项目目标 使用机器学习和情感词典这两种方法分别对中文新闻类文本进行情感极性分析 输入一段新闻文本能够得到文本的情感极性 目标人群 需要对已有中文文本数据进行情感分析的企业及用户 APP中需要集成中文文本情感分析功能的开发人员

从事中文文本情感分析与挖掘的研究人员 项目边界 本项目是一个向有中文文本情感分析需求的人员提供接口服务,并尽可能提高服务质量的APP。 用户可以通过浏览我们的网站来体验我们的中文文本情感分析服务,并且可以参与到我们的用户体验改善计划中:通过向系统机器学习方法接口传递一个已知情感极性的文本及其情感极性来不断训练我们的模型,同时也可以查看系统返回的分析结果向我们后台反馈错误, 错误样例被相应数据库所记录。 这样,我们可以不断修复导致用户反馈的错误的bug,以及使用日益完善的模型来不断提高我们向用户提供的服质量。此外,需要在项目中使用中文文本情感分析功能的开发人员可以向我们申请服务接口来进一步使用我们所提供的服务。 what we can do 机器学习方法的接口,接受一个中文文本,可得到一个正向情感极性的概率和负向情感 的概率。 基于情感词典的方法的接口,输入一段中文文本,可得到文本的情感极性分值。 可对篇章级、段落级、句子级的中文文本进行情感极性判断。 基于情感词典的方法的接口,可以使用不同的情感词典对中文文本进行情感分析。 基于机器学习的方法的接口,可以导入一个训练好的模型来对中文文本进行情感分析。 提供了训练模型和测试准确率的接口,方便开发者及用户测试我们算法,并汇报错误。 提供了一个数据库用来记录常见的分析用语,以及分析错误的语句,便于开发者完善情感 分析算法以及修复程序中的bug。 what we cannot do 无法识别除中文以外的其他语言的文本 无法识别中文文本中的描述对象,无法得出所描述对象的情感极性值 暂时无法对中文文本中蕴含的情感进行分类(喜怒哀乐等) 项目需求分析 系统KAOS图

相关主题