基于Labeled-LDA模型的文本分类新算法

　万方数据

　万方数据

　万方数据

　万方数据

　万方数据

　万方数据

６２６计算机学报２００８钽

ＬＤＡ模型中类别化的隐含主题结构与核方法相结

合以进一步提升分类性能；（２）Ｌａｂｅｌｅｄ—ＬＤＡ模型

并不局限于文本分类，可以应用到其它的监督学习

任务中．

致谢在此，我们向对本文工作给予建议、帮助的

老师和同学，尤其是中国科学院软件研究所中文信

息处理研究组的黄瑞红同学和冯元勇同学，表示

感谢！

Ｅ１３［ｚ］

［３３［４］

［５３［６］

［７］［８］

参考文献

ＦａｂｒｉｚｉｏＳｅｂａｓｔｉａｎｉ．Ｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ／／ＡｌｅｓｓａｎｄｒｏＺａｎａｓｉ．ＴｅｘｔＭｉｎｉｎｇａｎｄｉｔｓＡｐｐｌｉｃａｔｉｏｎｓ．Ｓｏｕｔｈａｍｐｔｏｎ，ＵＫ：ＷＩＴＰｒｅｓｓ，２００５：１０９—１２９

ＳｕＪｉｎ－Ｓｈｕ，Ｚｈａｎｇｔ３０—Ｆｅｎｇ，ＸｕＸｉｎ．ＡｄｖａｎｃｅｓｉｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇＢａｓｅｄＴｅｘｔＣａｔｅｇｏｒｉｚａｔｉｏｎ．ＪｏｕｒｎａｌｏｆＳｏｆｔｗａｒｅ，２００８，１７：１８４８—１８５９（ｉｎＣｈｉｎｅｓｅ）

（苏金树，张博锋，徐听．基于机器学习的文本分类技术研究进展．软件学报，２００６。１７：１８４８—１８５９）

ＦａｂｒｉｚｉｏＳｅｂａｓｔｉａｎｉ．Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇｉｎａｕｔｏｍａｔｅｄｔｅｘｔｃａｔｅ—ｇｏｒｉｚａｔｉｏｎ．ＡＣＭＣｏｍｐｄｔｉｎｇＳｕｒｖｅｙｓ，２００２，３４（１）：１—４７

ＭｏｓｃｈｉｔｔｉＡ，ＢａｓｉｌｉＲ．ＣｏｍｐｌｅｘｌｉｎｇｕｉｓｔｉｃｆｅａｔｕｒｅｓｆｏｒｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｉＡｃｏｍｐｒｅｈｅｎｓｉｖｅｓｔｕｄｙ／／ＭｃＤｏｎａｌｄＳ，ＴａｉｔＪ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥＣＩＲ－０４．Ｓｕｎｄｅｒｌａｎｄ：Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ．Ｓｕｎｄｅｒｌａｎｄ，Ｕ．Ｋ．，２００４：１８１—１９６

ＫｅｈａｇｉａｓＡ，ＰｅｔｒｉｄｉｓＶ，ＫａｂｕｒｌａｓｏｓＶＧ，ＦｒａｇｋｏｕＰ．Ａｃｏｍｐａｒｉｓｏｎｏｆｗｏｒｄ－ａｎｄｓｅｎｓｅ—ｂａｓｅｄｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎｕｓｉｎｇｓｅｖｅｒａｌｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｓ．ＪｏｕｒｎａｌｏｆＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓ，２００３，２１（３）：２２７—２４７

ＤｅｅｒｗｅｓｔｅｒＳ，ＤｕｍａｉｓＳＴ，Ｆｕｒｎａｓ

ｅｔａ１．Ｉｎｄｅｘｉｎｇｂｙｌａｔｅｎｔｓｅｍａｎｔｉｃｉｎｄｅｘｉｎｇ．ＪｏｕｒｎａｌｏｆｔｈｅＡｍｅｒｉｃａｎＳｏｃｉｅｔｙｆｏｒＩｎｆｏｒ—ｍａｒｉｏｎＳｃｉｅｎｃｅ，１９９０，４１（６）ｌ３９１－４０７

ＴｈｏｍａｓＨｏｆｍａｎｎ．Ｐｒｏｂａｂｉｌｉｓｔｉｃｌａｔｅｎｔｓｅｍａｎｔｉｃｉｎｄｅｘｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＩＧＩＲ．Ｂｅｒｋｅｌｅｙ，ＣＡ，ＵＳＡ，１９９９：５０—５７ＳｃｈｕｔｚｅＨ。ＨｕｌｌＤＡｅｔａ１．Ａｃｏｍｐａｒｉｓｏｎｏｆｃｌａｓｓｉｆｉｅｒｓａｎｄｄｏｃｕｍｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｏｒｔｈｅｒｏｕｔｉｎｇｐｒｏｂｌｅｍ／／Ｐｒｏｃｅｅｄ－

ＬＩＷｅｎ－Ｂｏ，ｂｏｒｎｉｎ１９７５，Ｐｈ．Ｄ．

ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ

ｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ，ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ

ａｎｄｍａｃｈｉｎｅｌｅａｒｎｉｎｇ．

Ｂａｃｋｇｒｏｕｎｄ

Ｔｈｉｓ

ｐａｐｅｒｆｏｃｕｓｅｓｏｎｔｈｅｎｅｗｔｅｘｔｐｒｅｓｅｎｔａｔｉｏｎ

ｍｅｔｈｏｄｓａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｉｎｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｃｌａｓｓｉｃａｌｔｅｘｔｐｒｅｓｅｎ－

ｉｎｇｓｏｆｔｈｅＳＩＧＩＲ一９５．Ｓｅａｔｔｌｅ，Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡ，１９９５：

２２９—２３７

［９］ＣｈｅｎＬ，ＴｏｋｕｄａＮ，ＮａｇａｉＡ．ＡｎｅｗｄｉｆｆｅｒｅｎｔｉａｌＬＳＩｓｐａｃｅ—ｂａｓｅｄｐｒｏｂａｂｉｌｉｓｔｉｅｄｏｃｕｍｅｎｔｃｌａｓｓｉｆｉｅｒ．ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓ—

ｉｎｇＬｅｔｔｅｒｓ，２００３，８８（５）：２０３—２１２

［１０］ＢｌｅｉＤ，ＮｇＡ，ＪｏｒｄａｎＭ．Ｌａｔｅｎｔｄｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ．ＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，２００３。３：９９３—１０２２

［１１］ＷｅｉＸｉｎｇ，ＣｒｏｆｔＷＢｒｕｃｅ．ＬＤＡ－ｂａｓｅｄｄｏｃｕｍｅｎｔｍｏｄｅｌｓｆｏｒＡｄ—Ｈｏｅｒｅｔｒｉｅｖａｌ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＩＧＩＲ．Ｓｅａｔｔｌｅ，Ｗａｓｈ—

ｉｎｇｔｏｎ，ＵＳＡ，２００６：１７８—１８５

［１２］ＶｉｊａｙＫｒｉｓｈｎａｎ．Ｓｈｏｒｔｃｏｍｉｎｇｓｏｆｌａｔｅｎｔｍｏｄｅｌｓｉｎｓｕｐｅｒｖｉｓｅｄｓｅｔｔｉｎｇｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＩＧＩＲ．Ｓａｌｖａｄｏｒ，Ｂｒａｚｉｌ，２００５：

６２５－６２６

［１３］ＬｉＷｅｉ，ＭｅＣａｌｌｕｍＡｎｄｒｅｗ．Ｐａｅｈｉｎｋｏａｌｌｏｃａｔｉｏｎ：ＤＡＧ—ｓｔｒｕｃｔｕｒｅｄｍｉｘｔｕｒｅｍｏｄｅｌｓｏｆｔｏｐｉｃｃｏｒｒｅｌａｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ

ｏｆＩＣＭＬ一０６．Ｐｉｔｔｓｂｕｒｇｈ，Ｐｅｎｎｓｙｌｖａｎｉａ，２００６：５７７－５８４

［１４］ＢｌｅｉＤ，ＬａｆｆｅｒｔｙＪ．Ｃｏｒｒｅｌａｔｅｄｔｏｐｉｃｍｏｄｅｌｓ．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２００５，１８：１４７－１５４［１５３ＷａｉｎｗｒｉｇｈｔＭＪ，ＪｏｒｄａｎＭＩ．Ａｖａｒｉａｔｉｏｎａｌｐｒｉｎｃｉｐｌｅｆｏｒｇｒａｐｈｉｃａｌｍｏｄｅｌｓ／／ＨａｙｋｉｎＳ，ＰｒｉｎｃｉｐｅＪ，ＳｅｊｎｏｗｓｋｉＴ，Ｍｅ－

ＷｈｉｒｔｅｒＪｅｄｓ．ＮｅｗＤｉｒｅｃｔｉｏｎｓｉｎＳｔａｔｉｓｔｉｃａｌＳｉｇｎａｌＰｒｏｃｅｓｓ－

ｉｎｇ：ＦｒｏｍＳｙｓｔｅｍｓｔｏＢｒａｉｎ．Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴＰｒｅｓｓ，

２００５：１５５—２０２

［１６］ＣｈａｎｇＣｈｉｈ－Ｃｈｕｎｇ，ＬｉｎＣｈｉｈ－Ｊｅｎ．ＬＩＢＳＶＭ：ＡＬｉｂｒａｒｙｆｏｒＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ．Ｔａｉｗａｎ，Ｃｈｉｎａ，２００１

［１７］ＺｅｎｇＸｕｅ—Ｑｉａｎｇ，ＷａｎｇＭｉｎｘ－Ｗｅｎ，ＣｈｅｎＳｕ—Ｆｅｎ．Ａｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｔｈｅ１ａｔｅｎｔｓｅｍａｎｔｉｃｓｔｒｕｃｔｕｒｅ．

ＪｏｕｒｎａｌｏｆＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，２００４。３２：

９９－１０２（ｉｎＣｈｉｎｅｓｅ）

（曾雪强，王明文，陈素芬．一种基于潜在语义结构的文本分

类模型．华南理工大学学报，２００４，３２：９９—１０２），

［１８］ＺｈａｎｇＱｉ－Ｒｕｉ，ＺｈａｎｇＬｉｎｇ，ＤｏｎｇＳｈｏｕ－Ｂｉｎｅｔａ１．Ｅｆｆｅｃｔｓｏｆｃａｔｅｇｏｒｙｄｉｓｔｒｉｂｕｔｉｏｎｉｎａｔｒａｉｎｉｎｇｓｅｔｏｎｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ．

ＪｏｕｒｎａｌｏｆＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ。２００５，４５｛１８０２－１８０５（ｉｎ

Ｃｈｉｎｅｓｅ）

（张启蕊，张凌，董守斌等．训练集类别分布对文本分类的影

响．清华大学学报，２００５，４５：１８０２—１８０５）

［１９］ＹａｎｇＹｉ—Ｍｉｎｘ．Ａｎｅｖａｌｕａｔｉｏｎｏｆｓｔａｔｉｓｔｉｃａｌａｐｐｒｏａｃｈｅｓｔｏｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ．ＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ，１９９９。１（１－２）：６９－９０

ＳＵＮＬｅ，ｂｏｒｎｉｎ１９７１，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅ—ｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌａｎｄｎａｔｕｒａｌｌａｎ—ｇｕａｇｅｐｒｏｃｅｓｓｍｇ．

ＺＨＡＮＧＤａ—Ｋｕｎ，ｂｏｒｎｉｎ１９８０，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎａｎｄｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．

ｔａｔｉｏｎｍｅｔｈｏｄｓｍａｉｎｌｙｉｎｃｌｕｄｅｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌ，ｎ－ｇｒａｍｓ，ＨＭＭ．ａｎｄｅｔｃ．Ｔｈｅｓｅｔｅｘｔｐｒｅｓｅｎｔａｔｉｏｎｍｅｔｈｏｄｓｈａｖｅ

ｂｅｅｎ　万方数据

　万方数据

基于Labeled-LDA模型的文本分类新算法

作者：李文波， 孙乐， 张大鲲， LI Wen-Bo， SUN Le， ZHANG Da-Kun

作者单位：李文波,LI Wen-Bo(中国科学院软件研究所,北京,100080;中国科学院研究生院,北京

,100049)， 孙乐,张大鲲,SUN Le,ZHANG Da-Kun(中国科学院软件研究所,北京,100080)

刊名：

计算机学报

英文刊名：CHINESE JOURNAL OF COMPUTERS

年，卷(期)：2008,31(4)

被引用次数：11次

参考文献(22条)

1.式(1)中的ψ表示函数logΓ的一阶导函数

2.Yang Yi-Ming An evaluation of statistical approaches to text categorization 1999(1-2)

3.张启蕊;张凌;董守斌训练集类别分布对文本分类的影响[期刊论文]-清华大学学报(自然科学版) 2005(9)

4.曾雪强;王明文;陈素芬一种基于潜在语义结构的文本分类模型[期刊论文]-华南理工大学学报（自然科学版）2004(z1)

5.Chen L;Tokuda N;Nagai A A new differential LSI spacebased probabilistic document classifier[外文期刊] 2003(05)

6.Schutze H;Hull D A A comparison of classifiers and document representations for the routing problem 1995

7.Thomas Hofmann Probabilistic latent semantic indexing 1999

8.Deerwester S;Dumais S T;Furnas Indexing by latent semantic indexing[外文期刊] 1990(06)

9.Kehagias A;Petridis V;Kaburlasos V G;Fragkou P A comparison of word-and sense-based text categorization using several classification algorithms[外文期刊] 2003(03)

10.Moschitti A;Basili R Complex linguistic features for text classification:A comprehensive study 2004

11.Fabrizio Sebastiani Machine learning in automated text categorization 2002(01)

12.苏金树;张博锋;徐昕基于机器学习的文本分类技术研究进展[期刊论文]-软件学报 2006(9)

13.文献[13]中的实验采用的是Accuracy指标,本文统一采用micro_F1.二者在单标签分类情况下是等价的,参见文献[19].另外由于文献[13]中没有给出主题数量/类,所以我们用直线画出

14.狄拉克函数:δ(x)=

15.Chang Chih-Chung;Lin Chih-Jen LIBSVM:A Library for Support Vector Machines 2001

16.Wainwright M J;Jordan M I A variational principle for graphical models 2005

17.Blei D;Lafferty J Correlated topic models 2005

18.Li Wei;McCallum Andrew Pachinko allocation:DAG-structured mixture models of topic correlations[外文会议] 2006

19.Vijay Krishnan Shortcomings of latent models in supervised settings 2005

20.Wei Xing;Croft W Bruce LDA-based document models for Ad-Hoc retrieval 2006

21.Blei D;Ng A;Jordan M Latent dirichlet allocation[外文期刊] 2003(4/5)

22.Fabrizio Sebastiani Text categorization,Alessandro Zanasi.Text Mining and its Applications 2005引证文献(11条)

1.张小平.周雪忠.黄厚宽.冯奇.陈世波基于词相似性与CRP的主题模型[期刊论文]-模式识别与人工智能 2010(1)

2.唐颖军.须德.解文杰.薄一航一种基于类主题空间的图像场景分类方法[期刊论文]-中国图象图形学报A 2010(7)

3.吴飞.韩亚洪.庄越挺.邵健图像-文本相关性挖掘的Web图像聚类方法[期刊论文]-软件学报 2010(7)

4.吴飞.韩亚洪.庄越挺.邵健图像-文本相关性挖掘的Web图像聚类方法[期刊论文]-软件学报 2010(7)

5.肖可.奉国和1999～2008年国内文本分类研究文献计量分析[期刊论文]-情报学报 2010(4)

6.王红军.李志蜀.戚建淮.成镲.周鹏.周维基于贝叶斯网络的半监督聚类集成模型[期刊论文]-软件学报 2010(11)

7.王红军.李志蜀.戚建淮.成镲.周鹏.周维基于贝叶斯网络的半监督聚类集成模型[期刊论文]-软件学报 2010(11)

8.袁柳.张龙波基于统计主题模型的多粒度Web文档标注[期刊论文]-计算机应用 2010(12)

9.石晶.李万龙基于LDA模型的主题词抽取方法[期刊论文]-计算机工程 2010(19)

10.廖晓锋.刘春年.龚花萍基于主题模型的图片检索结果语义聚类[期刊论文]-电脑知识与技术 2010(34)

11.王朝飞.王凯主题模型在数字图书馆Web服务中的应用[期刊论文]-情报理论与实践 2010(2)

本文链接：https://www.sodocs.net/doc/2d11009160.html,/Periodical_jsjxb200804008.aspx