有监督主题模型的SLDA-TC文本分类新方法

doi:10.3969/j.issn.0372-2112.2019.06.017

电子学报 ›› 2019, Vol. 47 ›› Issue (6): 1300-1308.DOI: 10.3969/j.issn.0372-2112.2019.06.017

有监督主题模型的SLDA-TC文本分类新方法

唐焕玲^1,2,3, 窦全胜^1,2,3, 于立萍^1,2,3, 宋英杰^1,2,3, 鲁明羽⁴

1. 山东工商学院计算机科学与技术学院, 山东烟台 264005;
2. 山东省高等学校协同创新中心:未来智能计算, 山东烟台 264005;
3. 山东省高校智能信息处理重点实验室山东工商学院, 山东烟台 264005;
4. 大连海事大学信息科学技术学院, 辽宁大连 116026

收稿日期:2018-10-26 修回日期:2018-12-09 出版日期:2019-06-25 发布日期:2019-06-25
作者简介:唐焕玲 女,教授,博士,硕士生导师,1970年生于山东龙口.2004年于清华大学获得工学硕士学位,2009年于大连海事大学大学获得工学博士学位.从事机器学习、人工智能、数据挖掘等方向的理论及应用研究.E-mail:thl01@163.com;窦全胜 男,教授,博士,硕士生导师.1971年生于黑龙江大庆.2001年、2005年于吉林大学分别获得理学硕士学位、工学博士学位.从事人工智能、机器学习、演化计算等方向的理论及应用研究.E-mail:li_dou@163.com;于立萍 女,副教授,博士.1971年生于山东烟台.2004年和2008年分别在清华大学和山东科技大学获工学硕士、工学博士学位.从事机器学习、计算机视觉、机器人等方面的研究工作.E-mail:yulipingguo@163.com;宋英杰 女,博士,1983年生于山东威海.2009年和2013年于大连海事大学分别获得工学硕士和工学博士学位.从事本体推理、知识图谱等方面的研究工作.E-mail:songyj@sdtbu.edu.cn;鲁明羽 男,教授,博士生导师.1963年生于黑龙江鸡西.1988年、2002年于清华大学分别获得工学硕士和工学博士学位,从事机器学习、人工智能、数据挖掘等方向的理论及应用研究.E-mail:lumingyu@dlmu.edu.cn
基金资助:
国家自然科学基金（No.61175053，No.61472227，No.61773244，No.61602277，No.61772319）；山东省高校科研计划（No.J18KA385）

SLDA-TC: A Novel Text Categorization Approach Based on Supervised Topic Model

TANG Huan-ling^1,2,3, DOU Quan-sheng^1,2,3, YU Li-ping^1,2,3, SONG Ying-jie^1,2,3, LU Ming-yu⁴

1. School of Computer Science and Technology, Shandong Technology and Business University, Yantai, Shandong 264005, China;
2. Co-innovation Center of Shandong Colleges and Universities:Future Intelligent Computing, Yantai, Shandong 264005, China;
3. Key Laboratory of Intelligent Information Processing in Universities of Shandong(Shandong Technology and Business University), Shandong Yantai, 264005, China;
4. Information Science and Technology College, Dalian Maritime University, Dalian, Liaoning 116026, China

Received:2018-10-26 Revised:2018-12-09 Online:2019-06-25 Published:2019-06-25

摘要/Abstract

摘要： 本文提出了一种有监督主题模型的SLDA-TC（Supervised LDA-Text Categorization）文本分类方法，引入主题-类别概率分布参数，识别主题-类别的语义信息；提出SLDA-TC-Gibbs主题采样新方法，对每个词的隐含主题采样，只从该词所在文档的同类其它文档中采样，并给出了理论推导；另外，其主题数只需略大于类别数.实验表明，对比LDA-TC（LDA-Text Categorization）和SVM算法，本方法能提高分类精度和时间性能.

关键词: 文本分类, 主题模型, 隐含Dirichlet分布, 吉布斯采样

Abstract: In this paper,SLDA-TC,a novel text categorization model based on supervised topic model is proposed.The new parameter represents the probability distribution of topic-category is introduced.The SLDA-TC-Gibbs sampling algorithm is presented.At each iteration,a word's latent topic sampling only utilizes the other training documents having the same category with the document the word occurred,meanwhile,the theoretical proof is given.In the SLDA-TC model,the number of topics is only slightly larger than the number of categories.The experimental results demonstrate that the SLDA-TC model promotes the accuracy and speed for text classification compared with the LDA-TC and SVM algorithms.

Key words: text categorization, topic model, latent Dirichlet allocation, Gibbs sampling

中图分类号:

TP181

唐焕玲, 窦全胜, 于立萍, 宋英杰, 鲁明羽. 有监督主题模型的SLDA-TC文本分类新方法[J]. 电子学报, 2019, 47(6): 1300-1308.

TANG Huan-ling, DOU Quan-sheng, YU Li-ping, SONG Ying-jie, LU Ming-yu. SLDA-TC: A Novel Text Categorization Approach Based on Supervised Topic Model[J]. Acta Electronica Sinica, 2019, 47(6): 1300-1308.

参考文献

[1] Salton G,Wong A K,Yang C S,et al.A vector space model for automatic indexing[J].Communications ofthe ACM,1975,18(11):613-620.
[2] 陆玉昌,鲁明羽,李凡.向量空间法中单词权重函数的分析和构造[J].计算机研究与发展,2002,39(10):1205-1210. Yu Chang LU,Ming-Yu LU,Fan LI.Analysis and construction of word weighting function in VSM[J].Journal of Computer Research & Development,2002,39(10):1205-1210.(in Chinese)
[3] 唐焕玲,林正奎,鲁明羽.基于差异性评估对Co-training文本分类算法的改进[J].电子学报,2008,36(b12):138-143. Tang H L,Lin Z K,Lu M Y.An improved co-training text categorization algorithm based on diversity measures[J].Acta Electronica Sinica,2008,36(b12):138-143.(in Chinese)
[4] 翟延冬,王康平,张东娜,等.一种基于WordNet的短文本语义相似性算法[J].电子学报,2012,40(3):617-620. ZHAI Yan-dong,WANG Kang-ping,ZHANG Dong-na,et al.An algorithm for semantic similarity of short text based on wordnet[J].Acta Electronica Sinica,2012,40(3):617-620.
[5] 贺一帆,江铭虎.网络文本中基于信息瓶颈的特征提取[J].清华大学学报(自然科学版),2010,50(1):45-48,53. HE Y f,JIANG M h.Information bottleneck based feature selection in web text categorization[J].Journal of Tsinghua University (Sci&Tech),2010,50(1):45-48,53.(in Chinese)
[6] 郭茂盛,张宇,刘挺.文本蕴含关系识别与知识获取研究进展及展望[J].计算机学报,2017,40(4):889-910. Guo M S,ZHANG Y,Liu T.Research advances and prospect of recognizing textual entailment and knowledge acquisition[J].Chinese Journal of Computers,2017,40(4):889-910.(in Chinese)
[7] Turney P D,Pantel P.From frequency to meaning:vector space models of semantics[J].Journal of Artificial Intelligence Research Archive,AI Access Foundation,USA,2010,37(1):141-188.
[8] Mikolov T,Chen K,Corrado G,et al.Efficientestimation of word representations in vector space[J].Computer Science,2013,arxiv:1301.3781V3
[9] Deerwester S,Dumais S T,Furnas G W,et al.Indexing bylatent semantic analysis[J].Journal of the American Society for Information Science,1990,41(6):391-407.
[10] Hofmann T.Probabilistic latent semantic indexing[A].Proceedings of the 22nd ACM-SIGIR International Conference on Research and Development in Information Retrieval[C].Berkeley,CA:Morgou Kaufmann Publishers Inc,1999.50-57.
[11] Blei D M,Ng A,Jordan M.Latent Dirichlet allocation[J].Journal of Machine Learning Research,2003,3(4-5):993-1022.
[12] 徐戈,王厚峰.自然语言处理中主题模型的发展[J].计算机学报,2011,34(08):1423-1436. Xu G,Wang H F.Development of topic models in natural language processing.[J].Chinese Journal of Computers,2011,34(8):1423-1436.(in Chinese)
[13] Blei D M,Mcauliffe J D.Supervised topic models[J].Advances in Neural Information Processing Systems,2010,3:327-332.
[14] Jun Zhu.MedLDA:maximum margin supervised topic models[J].Journal of Machine Learning Research,2012,13(8):2237-2278.
[15] 李文波,孙乐,张大鲲.基于Labeled-LDA模型的文本分类新算法[J].计算机学报,2008,31(4):620-627. Li W B,Sun L,Zhang D K.Text classification based on labeled-LDA model[J].Chinese Journal of Computers,2008,31(4):620-627.(in Chinese)
[16] Zhang H,Zhong G.Improving short text classification by learning vector representations of both words and hidden topics[J].Knowledge-Based Systems,2016,102(6):76-86.
[17] Wood J,Tan P,Wang W,et al.Source-LDA:enhancing probabilistic topic models using prior knowledge sources[A].International Conference on Data Engineering[C].San Diego:IEEE,2017.411-422.
[18] Kandemir M,KekeÇ T,Yeniterzi R.Supervising topic models with Gaussian processes[J].Pattern Recognition,2018,77(5):226-236.
[19] Bhattacharay I,Getoor L.A latent Dirichlet model for unsupervised entity resolution[A].Proceedings of the SIAM Conference on Data Mining[C].Maryland,USA:SIAM,2006.577-584.
[20] 张雄,陈福才,黄瑞阳.基于双词主题模型的半监督实体消歧方法研究[J].电子学报,2018,46(3):607-613. ZHANG X,CHEN F C,HUANG R Y.Semi-supervised entity disambiguation method research based on bi term topic model[J].Acta Electronica Sinica,2018,46(3):607-613.(in Chinese)
[21] Mei Q,Ling X,Wondra M,et al.Topic sentiment mixture:modeling facets and opinions in weblogs[A].Proceedings of the 16th International Conference on World Wide Web[C].Banff,Alberta,Canada:ACM,2007.171-180.
[22] 欧阳继红,刘燕辉,李熙铭,等.基于LDA的多粒度主题情感混合模型[J].电子学报,2015,43(9):1875-1880. Ouyang J H,Liu Y H,Li X M,et al.Multi-grain sentiment topic model based on LDA[J].Acta Electronica Sinica,2015,43(9):1875-1880.(in Chinese)
[23] Niu Z,Hua G,Wang L,et al.Knowledgebased topic model for unsupervised object discovery and localization[J].IEEE Transactions on Image Processing,2018,27(1):50-63.
[24] Chen C,Zare A,Trinh H N,et al.Partialmembership latent Dirichlet allocation for soft image segmentation[J].IEEE Transactions on Image Processing,2017,26(12):5590-5602.

有监督主题模型的SLDA-TC文本分类新方法

SLDA-TC: A Novel Text Categorization Approach Based on Supervised Topic Model

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	张昱, 刘开峰, 张全新, 王艳歌, 高凯龙. 基于组合-卷积神经网络的中文新闻文本分类[J]. 电子学报, 2021, 49(6): 1059-1067.
[2]	李大鹏, 陈剑, 王晨, 闻英友, 赵大哲. 基于模板张量分解和双向LSTM的司法案件罪名认定[J]. 电子学报, 2021, 49(4): 760-767.
[3]	唐焕玲, 郑涵, 刘艳红, 马思源, 窦全胜, 鲁明羽. Tr-SLDA:一种面向交叉领域的迁移主题模型[J]. 电子学报, 2021, 49(3): 605-613.
[4]	吴绿, 张馨月, 唐茉, 王梓, 王永安. Focus+Context语义表征的场景图像分割[J]. 电子学报, 2021, 49(3): 596-604.
[5]	吴玉佳, 李晶, 宋成芳, 常军. 基于高效用神经网络的文本分类方法[J]. 电子学报, 2020, 48(2): 279-284.
[6]	脱婷, 马慧芳, 李志欣, 赵卫中. 熵权约束稀疏表示的短文本分类算法[J]. 电子学报, 2020, 48(11): 2131-2137.
[7]	张雄, 陈福才, 黄瑞阳. 基于双词主题模型的半监督实体消歧方法研究[J]. 电子学报, 2018, 46(3): 607-613.
[8]	胡小娟, 刘磊, 邱宁佳. 基于主动学习和否定选择的垃圾邮件分类算法[J]. 电子学报, 2018, 46(1): 203-209.
[9]	孙小兵, 刘湘月, 李斌, 张伟佳. 基于相关主题模型的程序网络自动构建与分析[J]. 电子学报, 2017, 45(5): 1052-1056.
[10]	吕品, 汪鑫, 罗宜元, 计春雷. 基于主题模型的(Aspect,Rating)摘要生成方法研究[J]. 电子学报, 2016, 44(12): 3036-3043.
[11]	田刚, 何克清, 王健, 孙承爱, 徐建建. 面向领域标签辅助的服务聚类方法[J]. 电子学报, 2015, 43(7): 1266-1274.
[12]	丁宇新, 燕泽权, 冯威, 薛成龙, 周迪. 基于有监督主题模型的排序学习算法[J]. 电子学报, 2015, 43(2): 333-337.
[13]	刘杰, 杜军平. 基于潜在主题融合的跨媒体图像语义标注[J]. 电子学报, 2014, 42(5): 987-991.
[14]	李晓旭, 李睿凡, 冯方向, 曹洁, 王小捷. 多视图有监督的LDA模型[J]. 电子学报, 2014, 42(10): 2040-2044.
[15]	王李冬, 魏宝刚, 袁杰. 基于概率主题模型的文档聚类[J]. 电子学报, 2012, 40(11): 2346-2350.