基于方面和胶囊网络的跨域评分预测模型

doi:10.12263/DZXB.20210483

摘要/Abstract

摘要：

用户评论可以反映用户对项目的偏好信息，将用户在其他领域的偏好迁移到目标领域进行跨域推荐，可以缓解目标域数据稀疏引起的冷启动问题.本文针对传统的跨域推荐方法无法将完整的用户偏好进行迁移以及传统的方面提取方法预测精度不高两个问题，提出基于方面和胶囊网络的跨域评分预测模型ACN（Aspect and Capsule Network）.ACN模型使用胶囊网络挖掘评论文档的多个方面，然后通过注意力机制筛选出对目标域最重要的特征，迁移到目标域进行评分预测.最后，通过实验证明ACN模型分别在单一源域和多源域的情况下，较基准模型最高有2.3%和20.8%的性能提升.

关键词: 跨域推荐, 评分预测, 胶囊网络, 方面提取, 注意力

Abstract:

Users'reviews on items can reflect users'preference information. Migrating users'preferences in other fields to the target domain for cross domain recommendation can alleviate the cold start problem caused by sparse data in the target domain. Aiming at the two problems that the traditional cross domain recommendation methods can not migrate the complete user preferences and the prediction accuracy of the traditional aspect extraction methods is incorrect, this paper proposes a cross domain score prediction model based on aspect and capsule network(ACN). ACN uses capsule network to mine multiple aspects of review documents, and then selects the most important features for the target domain through attention mechanism, and migrate to the target domain for score prediction. Compared with the benchmark model, ACN has the highest performance improvement of 2.3% and 20.8% when using single source domain and multi-source domain.

Key words: cross domain recommendation, rating prediction, capsule network, aspect extraction, attention

中图分类号:

TP391

梁顺攀, 刘伟, 郑智中, 等. 基于方面和胶囊网络的跨域评分预测模型[J]. 电子学报, 2022, 50(9): 2102-2109.

Shun-pan LIANG, Wei LIU, Zhi-zhong ZHENG, et al. Cross Domain Rating Prediction Based on Aspect and Capsule Network[J]. Acta Electronica Sinica, 2022, 50(9): 2102-2109.

图/表 9

图1 ACN模型结构

表1 模型符号定义

符号	定义	符号	定义
$U$	用户集合	$S$	方面对之间的语义匹配矩阵
$V$	项目集合	$P u, P v$	用户和项目的初始胶囊
$M$	用户或项目的方面数量	$O u, O v$	用户和项目的高层胶囊
$R$	用户项目交互的集合	$A u, A v$	用户和项目的方面矩阵
$L$	评论长度	$E u, E v$	用户和项目的词嵌入矩阵
$w$	窗口大小	$W k$	第 $k$ 个卷积权重矩阵
$r u, v$	评分矩阵中用户 $u$ 对项目 $v$ 的评分	$W M a t c h$	方面匹配映射矩阵
$r ̂ u, v$	用户 $u$ 对项目 $v$ 的预测评分	$W Q, W K, W A t t n$	非线性变换矩阵和注意力权重
$h$	胶囊维度	$Q u, K u$	用户 $u$ 的注意力机制查询项和键项
$D u, D v$	用户和项目的评论文档	$b$	偏置向量
$W u S$	共享矩阵	$q$	高层胶囊模糊表示

表1 模型符号定义

符号	定义	符号	定义
$U$	用户集合	$S$	方面对之间的语义匹配矩阵
$V$	项目集合	$P u, P v$	用户和项目的初始胶囊
$M$	用户或项目的方面数量	$O u, O v$	用户和项目的高层胶囊
$R$	用户项目交互的集合	$A u, A v$	用户和项目的方面矩阵
$L$	评论长度	$E u, E v$	用户和项目的词嵌入矩阵
$w$	窗口大小	$W k$	第 $k$ 个卷积权重矩阵
$r u, v$	评分矩阵中用户 $u$ 对项目 $v$ 的评分	$W M a t c h$	方面匹配映射矩阵
$r ̂ u, v$	用户 $u$ 对项目 $v$ 的预测评分	$W Q, W K, W A t t n$	非线性变换矩阵和注意力权重
$h$	胶囊维度	$Q u, K u$	用户 $u$ 的注意力机制查询项和键项
$D u, D v$	用户和项目的评论文档	$b$	偏置向量
$W u S$	共享矩阵	$q$	高层胶囊模糊表示

表2 数据集统计

数据集	用户	项目	评论	用户平均评论	项目平均评论
Book	126666	63202	3494976	27.6	55.3
Movies and TV	27822	12287	779376	28.0	63.4
CDs and Vinyl	11053	7710	296188	26.8	38.4
Toys and Games	19412	11924	167597	8.6	14.1
Tools and Improvement	16638	10217	134476	8.1	13.2
Beauty	22363	12101	198475	8.9	16.4

表3 各模型实验结果对比

	重叠用户数	CMF	EMCDR	R-DFM	ANR	CATN	ACN
Book ↓ Movie	100%	1.167	1.129	1.132	1.123	1.049	1.047
	50%	1.169	1.138	1.135	1.127	1.072	1.057
	20%	1.179	1.142	1.141	1.130	1.079	1.059
	10%	1.179	1.140	1.146	1.135	1.093	1.069
	5%	1.131	1.148	1.152	1.137	1.097	1.071
Movie ↓ Music	100%	1.139	1.116	1.128	1.122	1.042	1.039
	50%	1.140	1.138	1.143	1.137	1.075	1.070
	20%	1.158	1.144	1.146	1.142	1.102	1.100
	10%	1.167	1.172	1.150	1.155	1.126	1.118
	5%	1.173	1.175	1.166	1.160	1.144	1.135
Book ↓ Music	100%	0.939	0.924	0.911	0.895	0.862	0.855
	50%	0.942	0.927	0.917	0.903	0.868	0.859
	20%	0.962	0.934	0.928	0.912	0.875	0.865
	10%	0.967	0.936	0.936	0.919	0.896	0.876
	5%	0.970	0.937	0.943	0.940	0.899	0.880

图2 推荐性能随用户数的变化

图3 使用与目标域不相关源域时模型的性能

图4 相关多源域和单源域实验结果对比

图5 不相关多源域和单源域实验结果对比

表4 各模型实验结果对比

	重叠用户	ACN-noattn	ACN-cnn	ACN
Movie ↓ Music	100%	1.054	1.114	1.039
	50%	1.082	1.131	1.070
	20%	1.130	1.196	1.100
	10%	1.131	1.185	1.118
	5%	1.136	1.189	1.135

参考文献 21

1	LUOX, ZHOUM C, LIS, et al. Algorithms of unconstrained non-negative latent factor analysis for recommender systems[J]. IEEE Transactions on Big Data, 2021, 7(1): 227-240.
2	LUOX, WANGD X, ZHOUM C, et al. Latent factor-based recommenders relying on extended stochastic gradient descent algorithms[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 51(2): 916-926.
3	WUD, LUOX, SHANGM S, et al. A deep latent factor model for high-dimensional and sparse matrices in recommender systems[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021,51(7): 4285-4296.
4	李林峰, 刘真, 魏港明, 等. 基于共享知识模型的跨领域推荐算法[J]. 电子学报, 2018, 46(8): 1947-1953.
	LIL F, LIUZ, WEIG M, et al. Cross-domain recommendation algorithm based on sharing knowledge pattern[J]. Acta Electronica Sinica, 2018, 46(8): 1947-1953. (in Chinese)
5	SINGHA P, GORDONG J. Relational learning via collective matrix factorization[C]//Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2008: 650-658.
6	MANT, SHENH W, JINX L, et al. Cross-domain recommendation: an embedding and mapping approach[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence. Palo Alto: AAAI Press,2017: 2464-2470.
7	ZHUFeng, WANGYan, CHENChaochao, et al. A deep framework for cross-domain and cross-system recommendations[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: AAAI Press, 2018: 3711-3717.
8	刘真, 田靖玉, 苑宝鑫, 等. 基于知识聚合和迁移的跨领域推荐算法[J]. 电子学报, 2020, 48(10): 1928-1932.
	LIUZ, TIANJ Y, YUANB X, et al. Cross-domain recommendation algorithm based on knowledge aggregation and transfer[J]. Acta Electronica Sinica, 2020, 48(10): 1928-1932. (in Chinese)
9	ELKAHKYA M, SONGY, HEX D. A multi-view deep learning approach for cross domain user modeling in recommendation systems[C]//WWW'15: Proceedings of the 24th International Conference on World Wide Web. New York: ACM, 2015: 278-288.
10	SONGT H, PENGZ H, WANGS Z, et al. Review-based cross-domain recommendation through joint tensor factorization[C]//International Conference on Database Systems for Advanced Applications. Cham: Springer, 2017: 525-540.
11	FUW J, PENGZ H, WANGS Z, et al. Deeply fusing reviews and contents for cold start users in cross-domain recommendation systems[C]//The Thirty-Third AAAI Conference on Artificial Intelligence. Palo Alto: AAAI, 2019: 94-101.
12	ZHAOC, LIC L, XIAOR, et al. CATN: cross-domain recommendation for cold-start users via aspect transfer network[C]//SIGIR'20: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2020: 229-238.
13	CHENGZ Y, DINGY, ZHUL, et al. Aspect-aware latent factor model: Rating prediction with ratings and reviews[C]//WWW'18: Proceedings of the 2018 World Wide Web Conference. New York: ACM, 2018: 639-648.
14	BAHDANAUD, CHOK, BENGIOY. Neural machine translation by jointly learning to align and translate[EB/OL]. (2014-09-01). .
15	VASWANIA, SHAZEERN, PARMARN, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc, 2017: 6000-6010.
16	SabourS, FrosstN, HintonG E. Dynamic routing between capsules[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc, 2017: 3859-3869.
17	郑启航, 王章权, 刘半藤, 等. 基于加性间距胶囊网络的家庭活动识别方法研究[J]. 电子学报, 2020, 48(8): 1580-1586.
	ZHENGQ H, WANGZ Q, LIUB T, et al. Research on family activity recognition method based on additive margin capsule network[J]. Acta Electronica Sinica, 2020, 48(8): 1580-1586. (in Chinese)
18	任开旭, 王玉龙, 刘同存, 等. 融合多维语义表示的概率矩阵分解模型[J]. 电子学报, 2019, 47(9): 1848-1854.
	RENK X, WANGY L, LIUT C, et al. A probabilistic matrix factorization model based on multidimensional semantic representation learning[J]. Acta Electronica Sinica, 2019, 47(9): 1848-1854. (in Chinese)
19	KINGMAD P, BAJ. ADAM: A method for stochastic optimization[EB/OL].(2014-12-22). .
20	MCAULEYJ, TARGETTC, SHIQ F, et al. Image-based recommendations on styles and substitutes[C]//Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2015: 43-52.
21	CHINJ Y, ZHAOK Q, JOTYS R, et al. ANR: aspect-based neural recommender[C].Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York: ACM, 2018. 147-156

[1]	隗昊, 唐焕玲, 周爱, 张益嘉, 陈飞, 鲁明羽. 基于双路分段注意力神经张量网络的临床文本关系抽取[J]. 电子学报, 2023, 51(3): 658-665.
[2]	何滢婕, 刘月峰, 边浩东, 郭威, 张小燕. 基于Informer的电池荷电状态估算及其稀疏优化方法[J]. 电子学报, 2023, 51(1): 50-56.
[3]	王硕, 王坚, 王亚男, 宋亚飞. 一种基于特征融合的恶意代码快速检测方法[J]. 电子学报, 2023, 51(1): 57-66.
[4]	丁琪, 田萱, 孙国栋. 基于注意力增强的热点感知新闻推荐模型[J]. 电子学报, 2023, 51(1): 93-104.
[5]	高继蕊, 李华锋, 张亚飞, 谢明鸿, 李凡. 双注意力引导的细节和结构信息融合图像去雾网络[J]. 电子学报, 2023, 51(1): 160-171.
[6]	刘群, 谭洪胜, 张优敏, 王国胤. 基于元路径的动态异质网络表示学习[J]. 电子学报, 2022, 50(8): 1830-1839.
[7]	张志昌, 于沛霖, 庞雅丽, 朱林, 曾扬扬. SMGN：用于对话状态跟踪的状态记忆图网络[J]. 电子学报, 2022, 50(8): 1851-1858.
[8]	任莎莎, 刘琼. 小目标特征增强图像分割算法[J]. 电子学报, 2022, 50(8): 1894-1904.
[9]	赵俊男, 佘青山, 孟明, 陈云. 基于多流空间注意力图卷积SRU网络的骨架动作识别[J]. 电子学报, 2022, 50(7): 1579-1585.
[10]	李政伟, 李佳树, 尤著宏, 聂茹, 赵欢, 钟堂波. 基于异质图注意力网络的miRNA与疾病关联预测算法[J]. 电子学报, 2022, 50(6): 1428-1435.
[11]	胡向东, 李之涵. 基于胶囊网络的工业互联网入侵检测方法[J]. 电子学报, 2022, 50(6): 1457-1465.
[12]	严莉, 张凯, 徐浩, 韩圣亚, 刘珅岐, 史玉良. 基于图注意力机制和Transformer的异常检测[J]. 电子学报, 2022, 50(4): 900-908.
[13]	王延达, 陈炜通, 皮德常, 岳琳. 一种自适应记忆神经网络多跳读取与覆盖度机制结合的药物推荐模型[J]. 电子学报, 2022, 50(4): 943-953.
[14]	张凌明, 赵悦, 李鹏程, 刘洋, 高陈强. 基于局部注意力机制的三维牙齿模型分割网络[J]. 电子学报, 2022, 50(3): 681-690.
[15]	骈纬国, 吴映波, 陈蒙, 蔡俊鹏. 一种基于时空动态图注意力网络的共享出行需求预测方法[J]. 电子学报, 2022, 50(2): 432-439.