电子学报 ›› 2023, Vol. 51 ›› Issue (1): 93-104.DOI: 10.12263/DZXB.20210570
收稿日期:
2021-05-06
修回日期:
2021-12-21
出版日期:
2023-01-25
通讯作者:
作者简介:
基金资助:
DING Qi1,2, TIAN Xuan1,2(), SUN Guo-dong1,2
Received:
2021-05-06
Revised:
2021-12-21
Online:
2023-01-25
Published:
2023-02-23
Corresponding author:
Supported by:
摘要:
完全个性化的新闻推荐工作通常只基于用户兴趣,可能会导致推荐结果与点击过的内容过于相似甚至重复.事实上即使一些热点新闻并不完全符合用户兴趣,用户也可能希望点击类似的新闻.目前基于热点的新闻推荐方法不能很好挖掘潜在新闻的热点特征、灵活平衡用户兴趣和热点特征.本文提出一种新颖的注意力增强的热点感知新闻推荐模型(Hotspot-aware Attention enhaNced model,HAN),充分利用注意力网络和自注意力网络等深度神经网络的优势,在个性化推荐中将个性化兴趣与新闻热点性进行更好平衡与利用.该模型包括新闻编码器、热点特征提取器、用户兴趣提取器和点击预测器四个组件.提出一个热点特征提取器,使用注意力网络动态聚合热点新闻学习热点表示以更好挖掘热点特征;提出一个新颖的点击预测器来灵活融合热点特征、用户兴趣和候选新闻,以提升候选新闻的点击预测准确率.真实数据集上的实验表明HAN模型在AUC(Area Under the Curve of ROC)和F1两项指标上分别提升了7.51%和8.63%,且能够有效缓解用户冷启动问题.
中图分类号:
丁琪, 田萱, 孙国栋. 基于注意力增强的热点感知新闻推荐模型[J]. 电子学报, 2023, 51(1): 93-104.
Qi DING, Xuan TIAN, Guo-dong SUN . HAN: Hotspot-Aware Attention Enhanced News Recommendation[J]. Acta Electronica Sinica, 2023, 51(1): 93-104.
符号 | 描述 | 符号 | 描述 |
---|---|---|---|
第 | |||
用户 | 字嵌入维度 | ||
第 | 卷积核数量 | ||
热点新闻的总数量 | 卷积核尺寸 | ||
标题中第 | 2k+1 | 滑动窗口尺寸 | |
新闻标题表示 | 窗口滑动步长 | ||
候选新闻表示 | 自注意力网络的隐藏单元数量 | ||
自注意力网络的权重矩阵 | 自注意力网络中关注标题的 | ||
热点新闻表示 | |||
用户 | |||
学习率 | |||
批尺寸 |
表1 本文常用符号
符号 | 描述 | 符号 | 描述 |
---|---|---|---|
第 | |||
用户 | 字嵌入维度 | ||
第 | 卷积核数量 | ||
热点新闻的总数量 | 卷积核尺寸 | ||
标题中第 | 2k+1 | 滑动窗口尺寸 | |
新闻标题表示 | 窗口滑动步长 | ||
候选新闻表示 | 自注意力网络的隐藏单元数量 | ||
自注意力网络的权重矩阵 | 自注意力网络中关注标题的 | ||
热点新闻表示 | |||
用户 | |||
学习率 | |||
批尺寸 |
类别 | 数量 |
---|---|
用户 | 7 020 |
新闻 | 1 846 |
标题平均字数 | 20.77 |
样本 | 184 616 |
正样本 | 92 660 |
负样本 | 91 956 |
表3 数据集统计
类别 | 数量 |
---|---|
用户 | 7 020 |
新闻 | 1 846 |
标题平均字数 | 20.77 |
样本 | 184 616 |
正样本 | 92 660 |
负样本 | 91 956 |
模型 | 有无自注意力网络 | 有无热点新闻 | 有无点击新闻 | AUC/% | F1/% |
---|---|---|---|---|---|
HAN | √ | √ | √ | 68.08 | 67.34 |
Hwoh (w/o hot news) | √ | × | √ | 64.58 | 64.88 |
Hwos (w/o self-attention) | × | √ | √ | 67.37 | 66.35 |
Hwo (originates from DKN, w/o self-attention nor hot news) | × | × | √ | 63.32 | 61.99 |
Hwoc (w/o clicked news) | √ | √ | × | 64.20 | 63.59 |
表4 不同模型的性能表现
模型 | 有无自注意力网络 | 有无热点新闻 | 有无点击新闻 | AUC/% | F1/% |
---|---|---|---|---|---|
HAN | √ | √ | √ | 68.08 | 67.34 |
Hwoh (w/o hot news) | √ | × | √ | 64.58 | 64.88 |
Hwos (w/o self-attention) | × | √ | √ | 67.37 | 66.35 |
Hwo (originates from DKN, w/o self-attention nor hot news) | × | × | √ | 63.32 | 61.99 |
Hwoc (w/o clicked news) | √ | √ | × | 64.20 | 63.59 |
方法 | AUC/% | F1/% |
---|---|---|
逐元素加 | 64.68 | 65.17 |
带权重的逐元素加 | 67.01 | 66.59 |
拼接 | 68.08 | 67.34 |
表5 点击预测器中3种不同融合方法的对比
方法 | AUC/% | F1/% |
---|---|---|
逐元素加 | 64.68 | 65.17 |
带权重的逐元素加 | 67.01 | 66.59 |
拼接 | 68.08 | 67.34 |
方法 | AUC/% | F1/% |
---|---|---|
不含注意力网络的直接平均法 | 66.61 | 65.54 |
含有注意力网络 | 68.08 | 67.34 |
表6 热点提取器中注意力网络的效果
方法 | AUC/% | F1/% |
---|---|---|
不含注意力网络的直接平均法 | 66.61 | 65.54 |
含有注意力网络 | 68.08 | 67.34 |
序号 | 日期 | 新闻标题 | 类别 | |
---|---|---|---|---|
点击新闻 | 1 | 2019/06/17 | 林学院新闻一个就业实习实践基地 | 就业 |
2 | 2019/07/12 | 信息学院新建凌波创元就业实习实践基地 | 就业 | |
3 | 2019/09/25 | 材料学院依托实习实践基地助力学生就业成长 | 就业 | |
4 | 2019/09/29 | 2019年世界避孕日主题宣传系列活动在我校开展 | 活动 | |
5 | 2019/09/30 | 材料学院组织师生开展“我和国旗同框”活动 | 活动 | |
6 | 2019/09/01 | 迎新:你好,新绿!你好,明天! | 其它 | |
7 | 2019/09/24 | 打造智慧型录播教室 助力精品在线开放课程建设 | 其它 | |
热点新闻 | 1 | 2019/09/27 | 林学院学生参加抗洪救灾获当地好评 | 人物榜样 |
2 | 2019/09/02 | 2019级新生开学典礼举行 师生同唱我和我的祖国 | 活动 | |
3 | 2019/09/19 | “不忘初心,牢记使命”主题教育工作全覆盖 | 政治 | |
… | … | … | … |
表7 某用户点击新闻与热点新闻说明
序号 | 日期 | 新闻标题 | 类别 | |
---|---|---|---|---|
点击新闻 | 1 | 2019/06/17 | 林学院新闻一个就业实习实践基地 | 就业 |
2 | 2019/07/12 | 信息学院新建凌波创元就业实习实践基地 | 就业 | |
3 | 2019/09/25 | 材料学院依托实习实践基地助力学生就业成长 | 就业 | |
4 | 2019/09/29 | 2019年世界避孕日主题宣传系列活动在我校开展 | 活动 | |
5 | 2019/09/30 | 材料学院组织师生开展“我和国旗同框”活动 | 活动 | |
6 | 2019/09/01 | 迎新:你好,新绿!你好,明天! | 其它 | |
7 | 2019/09/24 | 打造智慧型录播教室 助力精品在线开放课程建设 | 其它 | |
热点新闻 | 1 | 2019/09/27 | 林学院学生参加抗洪救灾获当地好评 | 人物榜样 |
2 | 2019/09/02 | 2019级新生开学典礼举行 师生同唱我和我的祖国 | 活动 | |
3 | 2019/09/19 | “不忘初心,牢记使命”主题教育工作全覆盖 | 政治 | |
… | … | … | … |
序号 | 日期 | 新闻标题 | 类别 | 标签 | 预测点击概率 | ||
---|---|---|---|---|---|---|---|
不含 热点时 | 含 热点时 | ||||||
候候选 新闻 | 1 | 2019/10/29 | 林学院召开2020届毕业生就业动员会 | 就业 | 1 | 0.76 | 0.81 |
2 | 2019/10/18 | 材料学院开展八步沙“六老汉”主题分享活动 | 活动 | 1 | 0.59 | 0.63 | |
3 | 2019/10/09 | 林学院发布《全体师生向抗洪救灾学生学习》的倡议 | 人物榜样 | 1 | 0.39 | 0.86 | |
4 | 2019/10/24 | 我校学生在北京高校大学生优秀创业团队评选中喜获佳绩 | 其它 | 0 | 0.46 | 0.43 |
表8 该用户候选新闻及其预测结果说明
序号 | 日期 | 新闻标题 | 类别 | 标签 | 预测点击概率 | ||
---|---|---|---|---|---|---|---|
不含 热点时 | 含 热点时 | ||||||
候候选 新闻 | 1 | 2019/10/29 | 林学院召开2020届毕业生就业动员会 | 就业 | 1 | 0.76 | 0.81 |
2 | 2019/10/18 | 材料学院开展八步沙“六老汉”主题分享活动 | 活动 | 1 | 0.59 | 0.63 | |
3 | 2019/10/09 | 林学院发布《全体师生向抗洪救灾学生学习》的倡议 | 人物榜样 | 1 | 0.39 | 0.86 | |
4 | 2019/10/24 | 我校学生在北京高校大学生优秀创业团队评选中喜获佳绩 | 其它 | 0 | 0.46 | 0.43 |
1 | PRAWESH S, PADMANABHAN B. The “top N” news recommender: Count distortion and manipulation resistance[C]//Proceedings of the Fifth ACM Conference on Recommender Systems. New York: ACM, 2011: 237-244. |
2 | GULLA J A, YU B, ÖZGÖBEK Ö, et al. 3rd international workshop on news recommendation and analytics (INRA 2015)[C]//Proceedings of the 9th ACM Conference on Recommender Systems. New York: ACM, 2015: 345-346. |
3 | CHEN C, MENG X W, XU Z H, et al. Location-aware personalized news recommendation with deep semantic analysis[J]. IEEE Access, 2017, 5: 1624-1638. |
4 | 田萱, 丁琪, 廖子慧, 等. 基于深度学习的新闻推荐算法研究综述[J]. 计算机科学与探索, 2021, 15(6): 971-998. |
TIAN X, DING Q, LIAO Z H, et al. Survey on deep learning based news recommendation algorithm[J]. Journal of Frontiers of Computer Science and Technology, 2021, 15(6): 971-998. (in Chinese) | |
5 | WU C H, WU F Z, AN M X, et al. NPA: Neural news recommendation with personalized attention[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM, 2019: 2576-2584. |
6 | WU C H, WU F Z, AN M X, et al. Neural news recommendation with attentive multi-view learning[EB/OL]. (2019-07-12). . |
7 | WANG X K, SHENG Y Q, DENG H J. Joint deep network with auxiliary semantic learning for popular recommendation[J]. IEEE Access, 8: 41254-41261. |
8 | KARIMI M, JANNACH D, JUGOVAC M. News recommender systems-Survey and roads ahead[J]. Information Processing & Management, 2018, 54(6): 1203-1227. |
9 | LIU D R, OMAR H, LIOU C H, et al. Recommending blog articles based on popular event trend analysis[J]. Information Sciences, 2015, 305: 302-319. |
10 | JONNALAGEDDA N, GAUCH S. Personalized news recommendation using twitter[C]//2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT). Piscataway: IEEE, 2013: 21-25. |
11 | NATARAJAN S, MOH M. Recommending news based on hybrid user profile, popularity, trends, and location[C]//2016 International Conference on Collaboration Technologies and Systems (CTS). Piscataway: IEEE, 2016: 204-211. |
12 | ZHANG S, YAO L N, SUN A X, et al. Deep learning based recommender system[J]. ACM Computing Surveys, 2020, 52(1): 1-38. |
13 | 黄立威, 江碧涛, 吕守业, 等. 基于深度学习的推荐系统研究综述[J]. 计算机学报, 2018, 41(7): 1619-1647. |
HUANG L W, JIANG B T, LV S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647. (in Chinese) | |
14 | OKURA S, TAGAMI Y, ONO S, et al. Embedding-based news recommendation for millions of users[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2017: 1933-1942. |
15 | GAO J, XIN X, LIU J S, et al. Fine-grained deep knowledge-aware network for news recommendation with self-attention[C]//2018 IEEE/WIC/ACM International Conference on Web Intelligence (WI). Piscataway: IEEE, 2018: 81-88. |
16 | WU C H, WU F Z, GE S Y, et al. Neural news recommendation with multi-head self-attention[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Stroudsburg: Association for Computational Linguistics, 2019: 6390-6395. |
17 | ZHU Q N, ZHOU X F, SONG Z L, et al. DAN: Deep attention neural network for news recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 5973-5980. |
18 | SARWAR B, KARYPIS G, KONSTAN J, et al. Item-based collaborative filtering recommendation algorithms[C]//WWW'01: Proceedings of the 10th International Conference on World Wide Web. New York: ACM, 2001: 285-295. |
19 | HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. Geneva: International World Wide Web Conferences Steering Committee, 2017: 173-182. |
20 | WANG H W, ZHANG F Z, XIE X, et al. DKN: Deep knowledge-aware network for news recommendation[C]//WWW'18: Proceedings of the 2018 World Wide Web Conference. Geneva: International World Wide Web Conferences Steering Committee, 2018: 1835-1844. |
21 | AN M X, WU F Z, WU C H, et al. Neural news recommendation with long- and short-term user representations[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2019: 336-345. |
22 | JONNALAGEDDA N, GAUCH S, LABILLE K, et al. Incorporating popularity in a personalized news recommender system[J]. PeerJ Computer Science, 2016, 2: e63. |
23 | TIWARI S, PANGTEY M S, KUMAR S. Location aware personalized news recommender system based on Twitter popularity[C]//International Conference on Computational Science and Its Applications. Cham: Springer, 2018: 650-658. |
24 | LIU T Y, ZHONG Y, CHEN K. Interdisciplinary study on popularity prediction of social classified hot online events in China[J]. Telematics and Informatics, 2017, 34(3): 755-764. |
25 | KHOSLA A, SARMA A D, HAMID R. What makes an image popular?[C]//WWW'14: Proceedings of the 23rd International Conference on World Wide Web. New York: ACM, 2014: 867-876. |
26 | REN H, YANG Q. Predicting and evaluating the popularity of online news[EB/OL]. (2021-07-01). . |
27 | 李博. 基于项目特征和排序学习的新闻推荐系统设计与实现[D]. 北京: 北京邮电大学, 2019. |
LI B. The Design and Implementation of News Recommendation System Based on Item Feature and Learning to Rank[D]. Beijing: Beijing University of Posts and Telecommunications, 2019. (in Chinese) | |
28 | CHATZOPOULOU G, SHENG C, FALOUTSOS M. A first step towards understanding popularity in YouTube[C]//2010 INFOCOM IEEE Conference on Computer Communications Workshops. Piscataway: IEEE, 2010: 1-6. |
29 | YOON K. Convolutional neural networks for sentence classification[EB/OL]. (2014-08-25). . |
30 | LIN Z H, FENG M W, SANTOS C N D, et al. A structured self-attentive sentence embedding[EB/OL]. (2017-03-09). . |
31 | MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[C]//NIPS'13: Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2. Red Hook: Curran Associates Inc, 2013: 3111-3119. |
32 | REHUREK R, SOJKA P. Software framework for topic modelling with large corpora[C]//Proceedings of the LREC 2010 workshop on new challenges for NLP frameworks. Marrakech: European Language Resources Association, 2010: 46-50. |
33 | KINGMA D P, BA J. Adam: A method for stochastic optimization[EB/OL]. (2014-12-22). . |
[1] | 黄赟, 张帆, 郭威, 陈立, 羊光. 一种基于数据标准差的卷积神经网络量化方法[J]. 电子学报, 2023, 51(3): 639-647. |
[2] | 吕杭, 蒋明峰, 李杨, 张鞠成, 王志康. 基于混合时频域特征的卷积神经网络心律失常分类方法的研究[J]. 电子学报, 2023, 51(3): 701-711. |
[3] | 许新征, 李杉. 基于特征膨胀卷积模块的轻量化技术研究[J]. 电子学报, 2023, 51(2): 355-364. |
[4] | 张永梅, 孙捷. 基于动静态特征双输入神经网络的咳嗽声诊断COVID-19算法[J]. 电子学报, 2023, 51(1): 202-212. |
[5] | 袁海英, 成君鹏, 曾智勇, 武延瑞. Mobile_BLNet:基于Big-Little Net的轻量级卷积神经网络优化设计[J]. 电子学报, 2023, 51(1): 180-191. |
[6] | 吴靖, 叶晓晶, 黄峰, 陈丽琼, 王志锋, 刘文犀. 基于深度学习的单帧图像超分辨率重建综述[J]. 电子学报, 2022, 50(9): 2265-2294. |
[7] | 毛国君, 王者浩, 黄山, 王翔. 基于剪边策略的图残差卷积深层网络模型[J]. 电子学报, 2022, 50(9): 2205-2214. |
[8] | 袁海英, 曾智勇, 成君鹏. 面向灵活并行度的稀疏卷积神经网络加速器[J]. 电子学报, 2022, 50(8): 1811-1818. |
[9] | 张志文, 刘天歌, 聂鹏举. 基于实景数据增强和双路径融合网络的实时街景语义分割算法[J]. 电子学报, 2022, 50(7): 1609-1620. |
[10] | 王相海, 赵晓阳, 王鑫莹, 赵克云, 宋传鸣. 非抽取小波边缘学习深度残差网络的单幅图像超分辨率重建[J]. 电子学报, 2022, 50(7): 1753-1765. |
[11] | 丁毅, 沈薇, 李海生, 钟琼慧, 田明宇, 李洁. 面向CNN的区块链可信隐私服务计算模型[J]. 电子学报, 2022, 50(6): 1399-1409. |
[12] | 李政伟, 李佳树, 尤著宏, 聂茹, 赵欢, 钟堂波. 基于异质图注意力网络的miRNA与疾病关联预测算法[J]. 电子学报, 2022, 50(6): 1428-1435. |
[13] | 张波, 陆云杰, 秦东明, 邹国建. 一种卷积自编码深度学习的空气污染多站点联合预测模型[J]. 电子学报, 2022, 50(6): 1410-1427. |
[14] | 廖勇, 李玉杰. 一种轻量化低复杂度的FDD大规模MIMO系统CSI反馈方法[J]. 电子学报, 2022, 50(5): 1211-1217. |
[15] | 张云, 化青龙, 姜义成, 徐丹. 基于混合型复数域卷积神经网络的三维转动舰船目标识别[J]. 电子学报, 2022, 50(5): 1042-1049. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||