基于注意力增强的热点感知新闻推荐模型

doi:10.12263/DZXB.20210570

电子学报 ›› 2023, Vol. 51 ›› Issue (1): 93-104.DOI: 10.12263/DZXB.20210570

基于注意力增强的热点感知新闻推荐模型

丁琪¹^,², 田萱¹^,²(), 孙国栋¹^,²

^1.北京林业大学信息学院，北京 100083
^2.国家林业草原林业智能信息处理工程技术研究中心，北京 100083

收稿日期:2021-05-06 修回日期:2021-12-21 出版日期:2023-01-25
- 通讯作者:
- 田萱
- 作者简介:
- 丁　琪　女，1996年生，山东邹城人.北京林业大学信息学院硕士研究生.主要研究方向为智能信息处理、个性化推荐等.E-mail: 947515733@qq.com
  田萱（通讯作者）　女，1976年生，山东济宁人.2008年于中国人民大学获得博士学位，现为北京林业大学副教授，CCF高级会员.主要研究方向为智能信息处理、文本挖掘等.
  孙国栋　男，1981年生，黑龙江哈尔滨人.2009年与哈尔滨工业大学获得博士学位，现为北京林业大学副教授.主要研究方向为无线传感器网络、移动计算、数据挖掘等.E-mail: sungd@bjfu.edu.cn
- 基金资助:
- 国家重点研发计划 (2018YFC1603305)

HAN: Hotspot-Aware Attention Enhanced News Recommendation

DING Qi¹^,², TIAN Xuan¹^,²(), SUN Guo-dong¹^,²

^1.School of Information Science and Technology, Beijing Forestry University, Beijing 100083, China
^2.Engineering Research Center for Forestry-Oriented Intelligent Information Processing of National Forestry and Grassland Administration, Beijing 100083, China

Received:2021-05-06 Revised:2021-12-21 Online:2023-01-25 Published:2023-02-23
- Corresponding author:
- TIAN Xuan
- Supported by:
- National Key R&D Program of China (2018YFC1603305)

摘要/Abstract

摘要：

完全个性化的新闻推荐工作通常只基于用户兴趣，可能会导致推荐结果与点击过的内容过于相似甚至重复.事实上即使一些热点新闻并不完全符合用户兴趣，用户也可能希望点击类似的新闻.目前基于热点的新闻推荐方法不能很好挖掘潜在新闻的热点特征、灵活平衡用户兴趣和热点特征.本文提出一种新颖的注意力增强的热点感知新闻推荐模型（Hotspot-aware Attention enhaNced model，HAN），充分利用注意力网络和自注意力网络等深度神经网络的优势，在个性化推荐中将个性化兴趣与新闻热点性进行更好平衡与利用.该模型包括新闻编码器、热点特征提取器、用户兴趣提取器和点击预测器四个组件.提出一个热点特征提取器，使用注意力网络动态聚合热点新闻学习热点表示以更好挖掘热点特征；提出一个新颖的点击预测器来灵活融合热点特征、用户兴趣和候选新闻，以提升候选新闻的点击预测准确率.真实数据集上的实验表明HAN模型在AUC（Area Under the Curve of ROC）和F1两项指标上分别提升了7.51%和8.63%，且能够有效缓解用户冷启动问题.

Abstract:

Personalized news recommendation is usually based on users' interests only, which may cause the recommendation results to be too similar with or even repeat the content that has been clicked. In fact, even if some hot news may not meet the user's interests, users may also want to click on similar news. At present, hotspot-based approaches usually can not well mine the potential news hotspot features and flexibly balance the user interest and hotspot features. In this paper, a hotspot-aware attention enhanced model (HAN) for news recommendation is proposed, which makes full use of the advantages of deep neural networks such as attention networks and self-attention networks to better balance and utilize personalized interests and news hotspot in recommendation algorithm. HAN includes four components: news encoder, hotspot feature extractor, user interests extractor and click predictor. In order to effectively mine hotspot features, a hotspot feature extractor is proposed, which uses an attention network to dynamically aggregate hot news and learn hotspot feature representation; in order to improve the accuracy of predicting the click probability of candidate news, a click predictor is proposed to flexibly fuse hotspot features, user interests feature and candidate news representation. Experiments on a real-world dataset show that the area under the curve of ROC (AUC) and F1 increase by 7.51% and 8.63% respectively. At the same time, the model also helps to alleviate the cold-start problem of users.

Key words: news recommendation, hotspot-aware, self-attention networks, attention networks, convolutional neural networks

中图分类号:

TP391.1

丁琪, 田萱, 孙国栋. 基于注意力增强的热点感知新闻推荐模型[J]. 电子学报, 2023, 51(1): 93-104.

Qi DING, Xuan TIAN, Guo-dong SUN . HAN: Hotspot-Aware Attention Enhanced News Recommendation[J]. Acta Electronica Sinica, 2023, 51(1): 93-104.

图/表 12

表1 本文常用符号

符号	描述	符号	描述
$t i u$	第 $i$ 篇新闻的标题	$o i u, h, x$	$o i u, x$ 与 $o h, x$ 融合后的表示
$N u$	用户 $u$ 点击历史中新闻总数量	$d$	字嵌入维度
$p j$	第 $j$ 篇热点新闻的标题	$N f$	卷积核数量
$M$	热点新闻的总数量	$F$	卷积核尺寸
$w n$	标题中第 $n$ 个字	2k+1	滑动窗口尺寸
$e$	新闻标题表示	$s$	窗口滑动步长
$x$	候选新闻表示	$d a$	自注意力网络的隐藏单元数量
$A$	自注意力网络的权重矩阵	$r$	自注意力网络中关注标题的 $r$ 个不同部分
$h$	热点新闻表示	$l c$	$L 2$ 正则项系数
$i u$	用户 $u$ 的兴趣表示	$p c$	$p$ 惩罚项的系数
$o i u, x$	$h$ 与新闻 $x$ 拼接后的表示	$l$	学习率
$o i u, h, x$	$i u$ 与新闻 $x$ 拼接后的表示	$B$	批尺寸

表1 本文常用符号

符号	描述	符号	描述
$t i u$	第 $i$ 篇新闻的标题	$o i u, h, x$	$o i u, x$ 与 $o h, x$ 融合后的表示
$N u$	用户 $u$ 点击历史中新闻总数量	$d$	字嵌入维度
$p j$	第 $j$ 篇热点新闻的标题	$N f$	卷积核数量
$M$	热点新闻的总数量	$F$	卷积核尺寸
$w n$	标题中第 $n$ 个字	2k+1	滑动窗口尺寸
$e$	新闻标题表示	$s$	窗口滑动步长
$x$	候选新闻表示	$d a$	自注意力网络的隐藏单元数量
$A$	自注意力网络的权重矩阵	$r$	自注意力网络中关注标题的 $r$ 个不同部分
$h$	热点新闻表示	$l c$	$L 2$ 正则项系数
$i u$	用户 $u$ 的兴趣表示	$p c$	$p$ 惩罚项的系数
$o i u, x$	$h$ 与新闻 $x$ 拼接后的表示	$l$	学习率
$o i u, h, x$	$i u$ 与新闻 $x$ 拼接后的表示	$B$	批尺寸

图1 HAN模型的架构

表2 一条样本的构成

点击新闻	热点新闻	候选新闻	标签
n条	m条	1条	1/0

表3 数据集统计

类别	数量
用户	7 020
新闻	1 846
标题平均字数	20.77
样本	184 616
正样本	92 660
负样本	91 956

图2 新闻标题长度分布

表4 不同模型的性能表现

模型	有无自注意力网络	有无热点新闻	有无点击新闻	AUC/%	F1/%
HAN	√	√	√	68.08	67.34
Hwoh (w/o hot news)	√	×	√	64.58	64.88
Hwos (w/o self-attention)	×	√	√	67.37	66.35
Hwo (originates from DKN, w/o self-attention nor hot news)	×	×	√	63.32	61.99
Hwoc (w/o clicked news)	√	√	×	64.20	63.59

图3 不同最大点击新闻数下增加热点新闻前后AUC的值

表5 点击预测器中3种不同融合方法的对比

方法	AUC/%	F1/%
逐元素加	64.68	65.17
带权重的逐元素加	67.01	66.59
拼接	68.08	67.34

表6 热点提取器中注意力网络的效果

方法	AUC/%	F1/%
不含注意力网络的直接平均法	66.61	65.54
含有注意力网络	68.08	67.34

图4 最大点击新闻数和最大热点新闻数的超参数敏感性

表7 某用户点击新闻与热点新闻说明

	序号	日期	新闻标题	类别
点击新闻	1	2019/06/17	林学院新闻一个就业实习实践基地	就业
	2	2019/07/12	信息学院新建凌波创元就业实习实践基地	就业
	3	2019/09/25	材料学院依托实习实践基地助力学生就业成长	就业
	4	2019/09/29	2019年世界避孕日主题宣传系列活动在我校开展	活动
	5	2019/09/30	材料学院组织师生开展“我和国旗同框”活动	活动
	6	2019/09/01	迎新:你好,新绿!你好,明天!	其它
	7	2019/09/24	打造智慧型录播教室助力精品在线开放课程建设	其它
热点新闻	1	2019/09/27	林学院学生参加抗洪救灾获当地好评	人物榜样
	2	2019/09/02	2019级新生开学典礼举行师生同唱我和我的祖国	活动
	3	2019/09/19	“不忘初心,牢记使命”主题教育工作全覆盖	政治
	…	…	…	…

表8 该用户候选新闻及其预测结果说明

	序号	日期	新闻标题	类别	标签	预测点击概率
	序号	日期	新闻标题	类别	标签	不含热点时	含热点时
候候选新闻	1	2019/10/29	林学院召开2020届毕业生就业动员会	就业	1	0.76	0.81
	2	2019/10/18	材料学院开展八步沙“六老汉”主题分享活动	活动	1	0.59	0.63
	3	2019/10/09	林学院发布《全体师生向抗洪救灾学生学习》的倡议	人物榜样	1	0.39	0.86
	4	2019/10/24	我校学生在北京高校大学生优秀创业团队评选中喜获佳绩	其它	0	0.46	0.43

参考文献 33

1	PRAWESH S, PADMANABHAN B. The “top N” news recommender: Count distortion and manipulation resistance[C]//Proceedings of the Fifth ACM Conference on Recommender Systems. New York: ACM, 2011: 237-244.
2	GULLA J A, YU B, ÖZGÖBEK Ö, et al. 3rd international workshop on news recommendation and analytics (INRA 2015)[C]//Proceedings of the 9th ACM Conference on Recommender Systems. New York: ACM, 2015: 345-346.
3	CHEN C, MENG X W, XU Z H, et al. Location-aware personalized news recommendation with deep semantic analysis[J]. IEEE Access, 2017, 5: 1624-1638.
4	田萱, 丁琪, 廖子慧, 等. 基于深度学习的新闻推荐算法研究综述[J]. 计算机科学与探索, 2021, 15(6): 971-998.
	TIAN X, DING Q, LIAO Z H, et al. Survey on deep learning based news recommendation algorithm[J]. Journal of Frontiers of Computer Science and Technology, 2021, 15(6): 971-998. (in Chinese)
5	WU C H, WU F Z, AN M X, et al. NPA: Neural news recommendation with personalized attention[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM, 2019: 2576-2584.
6	WU C H, WU F Z, AN M X, et al. Neural news recommendation with attentive multi-view learning[EB/OL]. (2019-07-12). .
7	WANG X K, SHENG Y Q, DENG H J. Joint deep network with auxiliary semantic learning for popular recommendation[J]. IEEE Access, 8: 41254-41261.
8	KARIMI M, JANNACH D, JUGOVAC M. News recommender systems-Survey and roads ahead[J]. Information Processing & Management, 2018, 54(6): 1203-1227.
9	LIU D R, OMAR H, LIOU C H, et al. Recommending blog articles based on popular event trend analysis[J]. Information Sciences, 2015, 305: 302-319.
10	JONNALAGEDDA N, GAUCH S. Personalized news recommendation using twitter[C]//2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT). Piscataway: IEEE, 2013: 21-25.
11	NATARAJAN S, MOH M. Recommending news based on hybrid user profile, popularity, trends, and location[C]//2016 International Conference on Collaboration Technologies and Systems (CTS). Piscataway: IEEE, 2016: 204-211.
12	ZHANG S, YAO L N, SUN A X, et al. Deep learning based recommender system[J]. ACM Computing Surveys, 2020, 52(1): 1-38.
13	黄立威, 江碧涛, 吕守业, 等. 基于深度学习的推荐系统研究综述[J]. 计算机学报, 2018, 41(7): 1619-1647.
	HUANG L W, JIANG B T, LV S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647. (in Chinese)
14	OKURA S, TAGAMI Y, ONO S, et al. Embedding-based news recommendation for millions of users[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2017: 1933-1942.
15	GAO J, XIN X, LIU J S, et al. Fine-grained deep knowledge-aware network for news recommendation with self-attention[C]//2018 IEEE/WIC/ACM International Conference on Web Intelligence (WI). Piscataway: IEEE, 2018: 81-88.
16	WU C H, WU F Z, GE S Y, et al. Neural news recommendation with multi-head self-attention[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Stroudsburg: Association for Computational Linguistics, 2019: 6390-6395.
17	ZHU Q N, ZHOU X F, SONG Z L, et al. DAN: Deep attention neural network for news recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 5973-5980.
18	SARWAR B, KARYPIS G, KONSTAN J, et al. Item-based collaborative filtering recommendation algorithms[C]//WWW'01: Proceedings of the 10th International Conference on World Wide Web. New York: ACM, 2001: 285-295.
19	HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. Geneva: International World Wide Web Conferences Steering Committee, 2017: 173-182.
20	WANG H W, ZHANG F Z, XIE X, et al. DKN: Deep knowledge-aware network for news recommendation[C]//WWW'18: Proceedings of the 2018 World Wide Web Conference. Geneva: International World Wide Web Conferences Steering Committee, 2018: 1835-1844.
21	AN M X, WU F Z, WU C H, et al. Neural news recommendation with long- and short-term user representations[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2019: 336－345.
22	JONNALAGEDDA N, GAUCH S, LABILLE K, et al. Incorporating popularity in a personalized news recommender system[J]. PeerJ Computer Science, 2016, 2: e63.
23	TIWARI S, PANGTEY M S, KUMAR S. Location aware personalized news recommender system based on Twitter popularity[C]//International Conference on Computational Science and Its Applications. Cham: Springer, 2018: 650-658.
24	LIU T Y, ZHONG Y, CHEN K. Interdisciplinary study on popularity prediction of social classified hot online events in China[J]. Telematics and Informatics, 2017, 34(3): 755-764.
25	KHOSLA A, SARMA A D, HAMID R. What makes an image popular?[C]//WWW'14: Proceedings of the 23rd International Conference on World Wide Web. New York: ACM, 2014: 867-876.
26	REN H, YANG Q. Predicting and evaluating the popularity of online news[EB/OL]. (2021-07-01). .
27	李博. 基于项目特征和排序学习的新闻推荐系统设计与实现[D]. 北京: 北京邮电大学, 2019.
	LI B. The Design and Implementation of News Recommendation System Based on Item Feature and Learning to Rank[D]. Beijing: Beijing University of Posts and Telecommunications, 2019. (in Chinese)
28	CHATZOPOULOU G, SHENG C, FALOUTSOS M. A first step towards understanding popularity in YouTube[C]//2010 INFOCOM IEEE Conference on Computer Communications Workshops. Piscataway: IEEE, 2010: 1-6.
29	YOON K. Convolutional neural networks for sentence classification[EB/OL]. (2014-08-25). .
30	LIN Z H, FENG M W, SANTOS C N D, et al. A structured self-attentive sentence embedding[EB/OL]. (2017-03-09). .
31	MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[C]//NIPS'13: Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2. Red Hook: Curran Associates Inc, 2013: 3111-3119.
32	REHUREK R, SOJKA P. Software framework for topic modelling with large corpora[C]//Proceedings of the LREC 2010 workshop on new challenges for NLP frameworks. Marrakech: European Language Resources Association, 2010: 46-50.
33	KINGMA D P, BA J. Adam: A method for stochastic optimization[EB/OL]. (2014-12-22). .

[1]	黄赟, 张帆, 郭威, 陈立, 羊光. 一种基于数据标准差的卷积神经网络量化方法[J]. 电子学报, 2023, 51(3): 639-647.
[2]	吕杭, 蒋明峰, 李杨, 张鞠成, 王志康. 基于混合时频域特征的卷积神经网络心律失常分类方法的研究[J]. 电子学报, 2023, 51(3): 701-711.
[3]	许新征, 李杉. 基于特征膨胀卷积模块的轻量化技术研究[J]. 电子学报, 2023, 51(2): 355-364.
[4]	张永梅, 孙捷. 基于动静态特征双输入神经网络的咳嗽声诊断COVID-19算法[J]. 电子学报, 2023, 51(1): 202-212.
[5]	袁海英, 成君鹏, 曾智勇, 武延瑞. Mobile_BLNet：基于Big-Little Net的轻量级卷积神经网络优化设计[J]. 电子学报, 2023, 51(1): 180-191.
[6]	吴靖, 叶晓晶, 黄峰, 陈丽琼, 王志锋, 刘文犀. 基于深度学习的单帧图像超分辨率重建综述[J]. 电子学报, 2022, 50(9): 2265-2294.
[7]	毛国君, 王者浩, 黄山, 王翔. 基于剪边策略的图残差卷积深层网络模型[J]. 电子学报, 2022, 50(9): 2205-2214.
[8]	袁海英, 曾智勇, 成君鹏. 面向灵活并行度的稀疏卷积神经网络加速器[J]. 电子学报, 2022, 50(8): 1811-1818.
[9]	张志文, 刘天歌, 聂鹏举. 基于实景数据增强和双路径融合网络的实时街景语义分割算法[J]. 电子学报, 2022, 50(7): 1609-1620.
[10]	王相海, 赵晓阳, 王鑫莹, 赵克云, 宋传鸣. 非抽取小波边缘学习深度残差网络的单幅图像超分辨率重建[J]. 电子学报, 2022, 50(7): 1753-1765.
[11]	丁毅, 沈薇, 李海生, 钟琼慧, 田明宇, 李洁. 面向CNN的区块链可信隐私服务计算模型[J]. 电子学报, 2022, 50(6): 1399-1409.
[12]	李政伟, 李佳树, 尤著宏, 聂茹, 赵欢, 钟堂波. 基于异质图注意力网络的miRNA与疾病关联预测算法[J]. 电子学报, 2022, 50(6): 1428-1435.
[13]	张波, 陆云杰, 秦东明, 邹国建. 一种卷积自编码深度学习的空气污染多站点联合预测模型[J]. 电子学报, 2022, 50(6): 1410-1427.
[14]	廖勇, 李玉杰. 一种轻量化低复杂度的FDD大规模MIMO系统CSI反馈方法[J]. 电子学报, 2022, 50(5): 1211-1217.
[15]	张云, 化青龙, 姜义成, 徐丹. 基于混合型复数域卷积神经网络的三维转动舰船目标识别[J]. 电子学报, 2022, 50(5): 1042-1049.

基于注意力增强的热点感知新闻推荐模型

HAN: Hotspot-Aware Attention Enhanced News Recommendation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 33

相关文章 15

编辑推荐

Metrics