基于有监督主题模型的排序学习算法

doi:10.3969/j.issn.0372-2112.2015.02.019

电子学报 ›› 2015, Vol. 43 ›› Issue (2): 333-337.DOI: 10.3969/j.issn.0372-2112.2015.02.019

基于有监督主题模型的排序学习算法

丁宇新¹, 燕泽权¹, 冯威¹, 薛成龙¹, 周迪²

1. 哈尔滨工业大学深圳研究生院, 广东深圳 518055;
2. 计算机体系结构国家重点实验室, 中科院计算所, 北京 100190

收稿日期:2013-10-14 修回日期:2014-05-19 出版日期:2015-02-25
- 作者简介:
- 丁宇新 男,1972出生,天津人,博士,哈尔滨工业大学深圳研究生院副教授,研究方向为自然语言处理,机器学习. E-mail:yxding@hitsz.edu.cn 燕泽权 男,1989出生,河北唐山人,哈尔滨工业大学深圳研究生院硕士研究生,研究方向为自然语言处理,机器学习. E-mail:saiboyan@163.com
- 基金资助:
- 国家自然科学基金 (No.61100192); 中科院计算机体系结构国家重点实验室开放基金; 哈工大学科研创新基金 (No.HIT.NSRIF2010123); 哈工大深圳研究生院网络智能计算重点实验室资助

Rank Learning Based on Supervised Topic Model

DING Yu-xin¹, YAN Ze-quan¹, FENG Wei¹, XUE Cheng-long¹, ZHOU Di²

1. Harbin Institute of Technology Shenzhen Graduate School, Shenzhen, Guangdong 518055, China;
2. State Key Laboratory of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China

Received:2013-10-14 Revised:2014-05-19 Online:2015-02-25 Published:2015-02-25

摘要/Abstract

摘要：

文档表示是排序学习的关键,目前的排序学习算法多采用词袋法表示文档与查询,该方法假设词袋中的词相互独立,忽略了词之间的关系.为了表示文档中词之间的依赖关系,本研究利用文档与查询的主题特征构建排序学习模型,我们将排序函数定义为文档与查询之间的主题关系,提出了基于有监督主题模型的排序学习算法自动学习排序函数.为了评价模型的排序精度,我们在三个标准数据集(OHSUMED,MQ2007,MQ2008)上进行了实验.实验表明基于主题的排序学习算法能够发现文档与查询之间内在的语义关联,并改善排序模型的排序精度.

关键词: 排序学习, 机器学习, 关系主题模型, 主题特征

Abstract:

One of the key issues in learning to rank is document representation.In most of the learning to rank algorithms documents and queries are represented as a "bag of words",and words are assumed to occur independently.This kind of document representation ignores relationships between different words.To capture the important relationships between words,we try to learn a ranking model using the topic features of documents and queries.We define the ranking function as the topic relations between a document and a query.A novel rank learning algorithm based on supervised topic model is proposed to learn the ranking function.To evaluate the ranking accuracy of the proposed ranking algorithm,experiments are made on three benchmark datasets for information retrieval,OHSUMED,MQ2007,and MQ2008.The experimental results show that the proposed model can find the semantic relation between a document and a query,and can improve the ranking accuracy.

Key words: rank learning, machine learning, relational topic model, topic feature

中图分类号:

TP309.2

丁宇新, 燕泽权, 冯威, 薛成龙, 周迪. 基于有监督主题模型的排序学习算法[J]. 电子学报, 2015, 43(2): 333-337.

DING Yu-xin, YAN Ze-quan, FENG Wei, XUE Cheng-long, ZHOU Di. Rank Learning Based on Supervised Topic Model[J]. Acta Electronica Sinica, 2015, 43(2): 333-337.

参考文献

[1] Deerwester S,Dumais SS T,Furnas G W,Landauer T K,Harshman R.Indexing by latent semantic analysis[J].JAM SOC INFORM SCI,1990,41(6):391-407.
[2] Blei D,Ng A,Jordan M.Latent dirichlet allocation[J].Journal of Machine Learning Research,2003,3(1):993-1022.
[3] 王李冬,等.基于概率主题模型的文档聚类[J].电子学报,2012,40(11):2346-2350. Wang Lidong,et al.Document clustering based on probabilistic topic model[J].Acta Electronica Sinica,2012,40(11):2346-2350.(in Chinese)
[4] 吴永辉,等.基于主题的自适应、在线网络热点发现方法及新闻推荐系统[J].电子学报,2010,38(11):2620-2634. Wu yonghui,et al.Adaptive on-line web topic detection method for web news recommendation system[J].Acta Electronica Sinica,2010,38(11):2620-2634.(in Chinese)
[5] Chang J,Blei D.Hierarchical relational models for document networks[J].The Annals of Applied Statistics,2010,4(1):124-150.
[6] Blei D,McAuliffe J.Supervised topic models[A].Neural Inforamtion Processing System Conference[C].Vancouver,Canada:MIT Press,2007.1-8.
[7] Zhu J,Ahmed A,Xing E P.MedLDA:maximum margin supervised topic models for regression and classification[A].International Conference on Machine Learning[C].Montreal,Canada:ACM,2009.158-1264.
[8] Erosheva E,Fienberg S,Lafferty J.Mixed-membership models of scientific publications[J].National Academy of Sciences,2004,97(22):11885-11892.
[9] Wang Q,et al.Regularized latent semantic indexing[A].SIGIR'2011[C].Beijing,China:ACM,2011.685-694.
[10] Nallapati R,Cohen W.Link-PLSA-LDA:a new unsupervised model for topics and influence of blogs[A].Proceedings of Association for the Advancement of Artificial Intelligence[C].Chicago,USA:AAAI Press,2008.84-92.
[11] Xu J,et al.LETOR:Benchmark letor dataset for research on learning to rank for information retrieval[A].Proceding of SIGIR Workshop on Learning to Rank for Information Retrieval[C].Amsterdam,Holland:ACM,2007.201-206.
[12] Qin T,Liu T,Xu J,Li H.LETOR:Benchmark letor dataset for research on learning to rank for information retrieval[J].Information Retrieval,2010,13(4):346-374.
[13] Joachims T.Training Linear SVMs in Linear Time[A].the ACM Conference on Knowledge Discovery and Data Mining[C].Philadelphia,USA:ACM,2006.217-226.
[14] Jarvelin K,Kekalainen,J.IR evaluation methods for retrieving highly relevant documents[A].SIGIR'000[C].Athens,Greece:ACM,2000.41-48.

[1]	李雪莹, 王田路, 梁鹏, 王翀. 基于系统模型的用户评论中非功能需求的自动分类[J]. 电子学报, 2022, 50(9): 2079-2089.
[2]	黄璐, 蔚保国, 李宏生, 李隽, 贾浩男, 程建强, 李雅宁. GNSS拒止环境下的伪卫星指纹定位方法[J]. 电子学报, 2022, 50(4): 811-822.
[3]	崔亚奇, 何友, 唐田田, 熊伟. 一种深度学习航迹关联方法[J]. 电子学报, 2022, 50(3): 759-763.
[4]	蒋华伟, 郭陶, 杨震. 车辆路径问题研究进展[J]. 电子学报, 2022, 50(2): 480-492.
[5]	郑锐, 汪秋云, 林卓庞, 靖蓉琦, 姜政伟, 傅建明, 汪姝玮. 一种基于威胁情报层次特征集成的挖矿恶意软件检测方法[J]. 电子学报, 2022, 50(11): 2707-2715.
[6]	张梦, 郑建宏, 刘香燕, 何云. 基于集成学习的全双工中继系统安全中继选择方案研究[J]. 电子学报, 2021, 49(9): 1852-1856.
[7]	郑海颖, 王峰, 姜维, 王志强, 姚西文. 神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估[J]. 电子学报, 2021, 49(8): 1599-1614.
[8]	周东明, 张灿龙, 李志欣, 王智文. 基于多层级视觉融合的图像描述模型[J]. 电子学报, 2021, 49(7): 1286-1290.
[9]	侯秀聪, 赖晓平, 曹九稳. 正则化超限学习机的最大分划广义交替方向乘子法[J]. 电子学报, 2021, 49(4): 625-630.
[10]	陈长青, 郭春, 崔允贺, 申国伟, 蒋朝惠. 基于API短序列的勒索软件早期检测方法[J]. 电子学报, 2021, 49(3): 586-595.
[11]	刘润滋, 吴伟华, 张文柱, 周笛, 张琰. 基于图学习的密集空间网络传输资源调度方法[J]. 电子学报, 2021, 49(11): 2133-2137.
[12]	仇祝令, 查宇飞, 吴敏, 王青. 基于注意力学习的正则化相关滤波跟踪算法[J]. 电子学报, 2020, 48(9): 1762-1768.
[13]	李琳, 唐守廉. 融合内容表示的度量排序学习推荐模型[J]. 电子学报, 2020, 48(8): 1615-1622.
[14]	宋宇琦, 高旻, 李骏东, 荣文戈, 熊庆宇. 网络欺凌检测综述[J]. 电子学报, 2020, 48(6): 1220-1229.
[15]	蒋留兵, 周小龙, 车俐. 基于无载波超宽带雷达的小样本人体动作识别[J]. 电子学报, 2020, 48(3): 602-615.

基于有监督主题模型的排序学习算法

Rank Learning Based on Supervised Topic Model

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics