融合耦合距离区分度和强类别特征的短文本相似度计算方法

doi:10.3969/j.issn.0372-2112.2019.06.021

电子学报 ›› 2019, Vol. 47 ›› Issue (6): 1331-1336.DOI: 10.3969/j.issn.0372-2112.2019.06.021

所属专题：自然语言处理技术

融合耦合距离区分度和强类别特征的短文本相似度计算方法

马慧芳^1,2,3, 刘文¹, 李志欣³, 蔺想红¹

1. 西北师范大学计算机科学与工程学院, 甘肃兰州 730000;
2. 桂林电子科技大学广西可信软件重点实验室, 广西桂林 541004;
3. 广西师范大学广西多源信息挖掘与安全重点实验室, 广西桂林 541004

收稿日期:2018-01-30 修回日期:2019-03-11 出版日期:2019-06-25
- 通讯作者:
- 马慧芳
- 作者简介:
- 刘文男,1994年8月出生,甘肃定西人.西北师范大学计算机科学与工程学院硕士研究生.研究方向为机器学习.E-mail:nwnuliuw@yeah.net;李志欣 男,1971年10月出生,广西桂林人.博士,博士生导师,现为广西师范大学计算机科学与信息工程学院教授.研究方向为图像理解、机器学习.E-mail:lizx@gxnu.edu.cn;蔺想红 男,1976年1月出生,甘肃天水人.2009年获哈尔滨工业大学计算机应用技术专业博士学位,现任西北师范大学计算机科学与工程学院教授,硕士生导师.研究方向为神经网络与深度学习、大数据分析.E-mail:linxh@nwnu.edu.cn
- 基金资助:
- 国家自然科学基金 (No.61762078，No.61363058，No.61663004）; 广西多源信息挖掘与安全重点实验室开放基金项目 (No.MIMS18-08）; 广西可信软件重点实验室研究课题 (No.KX201705）

Combining Coupled Distance Discrimination and Strong Classifica-tion Features for Short Text Similarity Calculation

MA Hui-fang^1,2,3, LIU Wen¹, LI Zhi-xin³, LIN Xiang-hong¹

1. College of Computer Science and Engineering, Northwest Normal University, Lanzhou, Gansu 730000, China;
2. Guangxi Key Laboratory of Trusted Software, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China;
3. Guangxi Key Lab of Multi-source Information Mining and Security, Guangxi Normal University, Guilin, Guangxi 541004, China

Received:2018-01-30 Revised:2019-03-11 Online:2019-06-25 Published:2019-06-25

摘要/Abstract

摘要： 短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点，以及传统的短文本相似度计算忽略类别信息等问题，提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面，在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度，并以此来对词项加权从而捕获词项间内联和外联关系，得到短文本的耦合距离区分度相似度；另一方面，基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合，并利用词项的上下文来对强类别特征语义消歧，然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后，本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率.

关键词: 文本挖掘, 自然语言处理, 文本聚类, 社会网络, 耦合关系, 特征提取, 语义消歧, 相似度计算

Abstract: Text similarity measures play a vital role in text related applications in tasks such as social networks,text mining,natural language processing,and others.The typical characteristics of short texts demonstrate severe sparseness and high dimension while the traditional short texts similarity calculation always ignores category information.A coupled distance discrimination and strong classification features based approach for short text similarity calculation,CDDCF,is presented.On the one hand,co-occurrence distance between terms are considered in each text to determine the co-occurrence distance correlation,based on which the weight for each term can be determined and the intra and inter relations between words are established.The similarity of coupling distance discrimination on short text can be captured.On the other hand,strong classification features are extracted via labeled texts.The similarity between two short texts is measured by using the common number of strong discrimination features with the same context.Finally,the distance discrimination and strong classification features are unified into a joint framework to measure the similarity of short texts.Experimental results show that CDDCF performs better compared to baseline algorithms in term of its performance and efficiency of similarity computation.

Key words: text mining, natural language processing, text clustering, social network, coupling relation, feature extraction, word sense disambiguation, similarity computation

中图分类号:

TP393.092

马慧芳, 刘文, 李志欣, 蔺想红. 融合耦合距离区分度和强类别特征的短文本相似度计算方法[J]. 电子学报, 2019, 47(6): 1331-1336.

MA Hui-fang, LIU Wen, LI Zhi-xin, LIN Xiang-hong. Combining Coupled Distance Discrimination and Strong Classifica-tion Features for Short Text Similarity Calculation[J]. Acta Electronica Sinica, 2019, 47(6): 1331-1336.

参考文献

[1] 曹玖新,陈高君,吴江林,等.基于多维特征分析的社交网络意见领袖挖掘[J].电子学报,2016,44(4):898-905. Cao J X,Chen G J,Wu J L,et.al.Multi feature based opinion leader mining in social networks.[J].Acta Electronica Sinica,2016,44(4):898-905.(in Chinese)
[2] Song S,Zhu H,Chen L.Probabilistic correlation-based similarity measure on text records[J].Information Sciences,2014,289(1):8-24.
[3] Li P,Wang H,Zhu K Q,et al.Alarge probabilistic semantic network based approach to compute term similarity[J].IEEE Transactions on Knowledge & Data Engineering,2015,27(10):2604-2617.
[4] Chen Q,Hu L,Xu J,et al.Document similarity analysis via involving both explicit and implicit semantic couplings[A].IEEE International Conference on Data Science and Advanced Analytics[C].Montreal,Canada:IEEE Computer Society,2016.1-10.
[5] Cheng X,Miao D,Wang C,et al.Coupled term-term relation analysis for document clustering[A].International Joint Conference on Neural Networks[C].Dallas,Texas,USA:IEEE Computer Society,2013.1-8.
[6] Zhang L,Gao Y,Hong C,et al.Feature correlation hypergraph:exploiting high-order potentials for multimodal recognition[J].IEEE Transactions on Cybernetics,2014,44(8):1408-1419.
[7] Ma H,Xing Y,Wang S,et al.Leveraging term co-occurrence distance and strong classification features for short text feature extraction[A].International Conference on Knowledge Science,Engineering and Management[C].Australia:Springer,2017.67-75.
[8] Michael Ley,DBLP Dataset[EB/OL].http://dblp.uni-trier.de/xml/,2016-04-20.
[9] 搜狗实验室.文本分类语料库[EB/OL].http://www.sogou.com/labs/dl/c.html,2012-04-30/2012-09-01.
[10] Ken Lang,20 Newsgroups Dataset[EB/OL].http://kdd.ics.uci.edu/databases/20newsgroups/20newsgroups.data.html,2009-12-9.
[11] 刘文,马慧芳,脱婷,等.融合共现距离和区分度的短文本相似度计算方法[J].计算机工程与科学,2017,29(3):52-53. Liu W,Ma H,Tuo T,Chen H B.Co-occurrence distance and discrimination based similarity measure on short Text[J].Computer Engineering and Science,2018,40(7):1281-1286.(in Chinese)
[12] Wen H,Xiao N.A semi-supervised text clustering based on strong classification features affinity propagation[J].Pattern Recognition and Artificial Intelligence,2014,27(7):646-654.

[1]	张志昌, 于沛霖, 庞雅丽, 朱林, 曾扬扬. SMGN：用于对话状态跟踪的状态记忆图网络[J]. 电子学报, 2022, 50(8): 1851-1858.
[2]	曲立国, 陈国豪, 胡俊, 陈鹏. 单次扫描连通域分析算法研究综述[J]. 电子学报, 2022, 50(6): 1521-1536.
[3]	孟海宁, 冯锴, 朱磊, 张贝贝, 童新宇, 黑新宏. 基于Laplacian图谱的短文本聚类算法[J]. 电子学报, 2021, 49(9): 1716-1723.
[4]	冯西安, 寇思玮, 谭伟杰, 毕杨. 水声信号处理中的稀疏表示理论及应用[J]. 电子学报, 2021, 49(9): 1840-1851.
[5]	黄名选. 关联模式挖掘与词向量学习融合的伪相关反馈查询扩展[J]. 电子学报, 2021, 49(7): 1305-1313.
[6]	张昱, 刘开峰, 张全新, 王艳歌, 高凯龙. 基于组合-卷积神经网络的中文新闻文本分类[J]. 电子学报, 2021, 49(6): 1059-1067.
[7]	林金朝, 李必禄, 李国权, 黄正文, 庞宇. 基于EWT和结构特征提取的心电信号R波识别算法[J]. 电子学报, 2021, 49(6): 1217-1223.
[8]	徐元博, 江祥奎, 李龙. 高阶对称差分解析能量算子在微弱轴承故障信号提取中的应用[J]. 电子学报, 2021, 49(4): 750-759.
[9]	汪宇玲, 陈立, 黎明, 钟国韵, 何月顺, 常玉祥, 宋伟宁. 基于迹变换和旋转增量调制特征的模糊人脸识别[J]. 电子学报, 2021, 49(12): 2437-2448.
[10]	鲍中新, 文成林, 马雪. 一种基于数据变化率的预处理及主元分析故障诊断方法[J]. 电子学报, 2021, 49(11): 2234-2240.
[11]	高玉君, 梁刚, 蒋方婷, 许春, 杨进, 陈俊任, 王浩. 社会网络谣言检测综述[J]. 电子学报, 2020, 48(7): 1421-1435.
[12]	罗会兰, 陈鸿坤. 基于深度学习的目标检测研究综述[J]. 电子学报, 2020, 48(6): 1230-1239.
[13]	杨启萌, 禹龙, 田生伟, 艾山·吾买尔. 基于深度强化学习的维吾尔语人称代词指代消解[J]. 电子学报, 2020, 48(6): 1077-1083.
[14]	黄鸿, 王丽华, 石光耀. 面向高光谱遥感影像分类的监督多流形鉴别嵌入方法[J]. 电子学报, 2020, 48(6): 1099-1107.
[15]	翟颖, 陈渤. 基于稳健变分自编码模型的雷达高分辨距离像目标识别算法[J]. 电子学报, 2020, 48(6): 1149-1155.

融合耦合距离区分度和强类别特征的短文本相似度计算方法

Combining Coupled Distance Discrimination and Strong Classifica-tion Features for Short Text Similarity Calculation

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics