一种量子概率启发的对话讽刺识别网络模型

doi:10.12263/DZXB.20211075

电子学报 ›› 2022, Vol. 50 ›› Issue (8): 1885-1893.DOI: 10.12263/DZXB.20211075

一种量子概率启发的对话讽刺识别网络模型

张亚洲, 俞洋, 朱少林, 陈锐, 戎璐, 梁辉()

郑州轻工业大学软件学院，河南郑州 450002

收稿日期:2021-08-11 修回日期:2022-04-11 出版日期:2022-08-25
- 通讯作者:
- 梁辉
- 作者简介:
- 张亚洲男，1990年11月出生于河南省安阳市.现为郑州轻工业大学软件学院讲师、硕士生导师.主要研究方向为多模态情感分析.E-mail：yzzhang@zzuli.edu.cn
  俞洋男，1998年8月出生于河南省信阳市 . 现为郑州轻工业大学软件学院硕士生 . 主要研究方向为多模态情感分析. E-mail：yuyang19980818@outlook.com
  朱少林男，1989年11月出生于河南省新乡市.现为郑州轻工业大学软件学院讲师.主要研究方向为多模态机器翻译.E-mail： zhushaolin003@163.com
  陈锐男，1979年12月出生，现为郑州轻工业大学软件学院讲师.主要研究方向为社交网络分析、个性化推荐.E-mail： ruichen@zzuli.edu.cn
  戎璐女，1995年1月出生于山西省忻州市.现为郑州轻工业大学助理讲师.主要研究方向为自然语言理解.E-mail： lurong2013@outlook.com
  梁辉男，1977年1月生于河南省平顶山市.现为郑州轻工业大学软件学院教授.主要研究方向为数字媒体、虚拟现实、计算机动画技术.
- 基金资助:
- 国家自然科学基金 (62006212); 河南省重点研发与推广专项 (科技攻关） (212102210418)

A Quantum Probability Inspired Network for Dialogue Sarcasm Recognition

ZHANG Ya-zhou, YU Yang, ZHU Shao-lin, CHEN Rui, RONG Lu, LIANG Hui()

Software Engineering College，Zhengzhou University of Light Industry，Zhengzhou，Henan 450002，China

Received:2021-08-11 Revised:2022-04-11 Online:2022-08-25 Published:2022-09-08
- Corresponding author:
- LIANG Hui

摘要/Abstract

摘要：

对话讽刺识别已经成为人工智能领域中一项极具挑战性的课题，其目的是辨别互动对话中晦涩难懂的诸如讽刺、轻蔑、嘲笑等隐喻性情感.从语言哲学分析，目前的对话讽刺识别方法难以衡量人类语言在讽刺表达与理解方面固有的不确定性.鉴于量子概率在建模不确定性方面的优势，本文探索量子概率在讽刺识别领域的潜力并提出一种量子概率启发式网络.该网络主要包含复值嵌入层、量子复合层、量子测量层以及全连接层.本文将互动对话中每句话语视作是一组单词的类量子叠加，表征为复数向量.相邻话语之间的上下文交互被建模为量子系统与其周围环境的复合，表示为密度矩阵.本文对每句话语进行量子测量，提取讽刺特征，并将讽刺特征输入到全连接层预测得到讽刺识别结果.本文在两个基准数据集上进行实验，结果表明本文提出的模型优于先进讽刺识别模型，讽刺识别准确率分别提升5.2%与2.38%.

关键词: 讽刺识别, 互动对话, 深度学习, 人工智能, 量子理论

Abstract:

Dialogue sarcasm recognition has been a challenging artificial intelligence(AI) research topic, aiming to discover elusive ironic, contemptuous and metaphoric information implied in daily dialogue. From the perspective of emotional logic, most existing works are insufficient to measure the intrinsic uncertainty in emotional expression and understanding. In view of the advantages of quantum probability(QP) in modeling the uncertainty, this paper explores the potential of QP in dialogue sarcasm recognition and proposes a quantum probability inspired network(QPIN). Specially, QPIN consists of a complex-valued embedding layer, a quantum composition layer, a quantum measurement layer and a dense layer. Each utterance is treated as a quantum superposition-like of a set of basis words, using a complex-valued representation. The contextual interaction between adjacent utterances is described as the composition system between a quantum system and its surrounding environment, which is represented by the density matrix. A quantum measurement is performed on the density matrix of each utterance to extract sarcastic features, and thus feeds these features to a dense layer to yield the probabilistic outcomes. Extensive experiments are conducted on two benchmark datasets, and the results show that our model outperforms the state-of-the-art baselines, with accuracy scores enhanced by 5.2% and 2.38%, respectively.

Key words: sarcasm recognition, interaction dialogue, deep learning, artificial intelligence, quantum theory

中图分类号:

TP391

张亚洲, 俞洋, 朱少林, 陈锐, 戎璐, 梁辉. 一种量子概率启发的对话讽刺识别网络模型[J]. 电子学报, 2022, 50(8): 1885-1893.

ZHANG Ya-zhou, YU Yang, ZHU Shao-lin, CHEN Rui, RONG Lu, LIANG Hui. A Quantum Probability Inspired Network for Dialogue Sarcasm Recognition[J]. Acta Electronica Sinica, 2022, 50(8): 1885-1893.

图/表 8

图1 类量子交互网络结构示意图.?表示张量积,?表示向量外积操作,?表示逐位相乘,?表示矩阵相加,表示量子测量操作

图2 卷积层对话语密度矩阵提取特征框架

表1 实验数据统计

数据集	话语数目		上下文话语数目
数据集	讽刺	非讽刺	上下文话语数目
MUStARD	345	345	2 261
Reddit	3 100	3 100	18 618

表2 参数设置

超参数	数据集
超参数	MUStARD	Reddit
Batch	64
激活函数	Relu
学习率	0.001
复值嵌入维度	768
正则化系数	$10 - 5$
测量算符数目 $G$	1 400	800
Dropout	0.6	0.5

表2 参数设置

超参数	数据集
超参数	MUStARD	Reddit
Batch	64
激活函数	Relu
学习率	0.001
复值嵌入维度	768
正则化系数	$10 - 5$
测量算符数目 $G$	1 400	800
Dropout	0.6	0.5

表3 各个模型在MUStARD数据集上的实验结果

模型	评估指标
模型	P	R	Mi-F	Acc
CNN	0.579	0.569	0.571	0.589
BiGRU	0.631	0.643	0.624	0.646
MHA-BiLSTM	0.673	0.652	0.614	0.659
C-LSTM	0.642	0.627	0.620	0.662
SVM+BERT	0.651	0.646	0.647	0.646
SVM+BERT(+上下文)	0.655	0.651	0.650	0.651
C-Net	0.679	0.683	0.681	0.683
MTL	0.727	0.719	0.716	0.721
QMSA	0.629	0.623	0.627	0.633
QSR	0.604	0.607	0.607	0.609
QMN	0.680	0.685	0.684	0.691
QPIN-CNN	0.744	0.739	0.740	0.737
QPIN-QM	0.753	0.755	0.754	0.753
QPIN-QM-CNN	0.759	0.763	0.760	0.758
$Δ S O T A$	4.40%	6.25%	6.26%	5.25%

表3 各个模型在MUStARD数据集上的实验结果

模型	评估指标
模型	P	R	Mi-F	Acc
CNN	0.579	0.569	0.571	0.589
BiGRU	0.631	0.643	0.624	0.646
MHA-BiLSTM	0.673	0.652	0.614	0.659
C-LSTM	0.642	0.627	0.620	0.662
SVM+BERT	0.651	0.646	0.647	0.646
SVM+BERT(+上下文)	0.655	0.651	0.650	0.651
C-Net	0.679	0.683	0.681	0.683
MTL	0.727	0.719	0.716	0.721
QMSA	0.629	0.623	0.627	0.633
QSR	0.604	0.607	0.607	0.609
QMN	0.680	0.685	0.684	0.691
QPIN-CNN	0.744	0.739	0.740	0.737
QPIN-QM	0.753	0.755	0.754	0.753
QPIN-QM-CNN	0.759	0.763	0.760	0.758
$Δ S O T A$	4.40%	6.25%	6.26%	5.25%

表4 各个模型在Reddit数据集上的实验结果

模型	评估指标
模型	P	R	Mi-F	Acc
CNN	0.631	0.623	0.629	0.623
BiGRU	0.600	0.598	0.600	0.600
MHA-BiLSTM	0.629	0.632	0.630	0.636
C-LSTM	0.613	0.609	0.610	0.615
SVM+BERT	0.640	0.642	0.638	0.640
SVM+BERT(+上下文)	0.649	0.647	0.643	0.651
C-Net	0.663	0.664	0.663	0.664
MTL	0.667	0.668	0.667	0.668
QMSA	0.610	0.614	0.611	0.617
QSR	0.603	0.607	0.607	0.614
QMN	0.654	0.659	0.657	0.663
QPIN-CNN	0.677	0.674	0.675	0.674
QPIN-QM	0.677	0.680	0.680	0.679
QPIN-QM-CNN	0.683	0.688	0.686	0.684
$Δ S O T A$	2.39%	2.42%	2.36%	2.38%

表4 各个模型在Reddit数据集上的实验结果

模型	评估指标
模型	P	R	Mi-F	Acc
CNN	0.631	0.623	0.629	0.623
BiGRU	0.600	0.598	0.600	0.600
MHA-BiLSTM	0.629	0.632	0.630	0.636
C-LSTM	0.613	0.609	0.610	0.615
SVM+BERT	0.640	0.642	0.638	0.640
SVM+BERT(+上下文)	0.649	0.647	0.643	0.651
C-Net	0.663	0.664	0.663	0.664
MTL	0.667	0.668	0.667	0.668
QMSA	0.610	0.614	0.611	0.617
QSR	0.603	0.607	0.607	0.614
QMN	0.654	0.659	0.657	0.663
QPIN-CNN	0.677	0.674	0.675	0.674
QPIN-QM	0.677	0.680	0.680	0.679
QPIN-QM-CNN	0.683	0.688	0.686	0.684
$Δ S O T A$	2.39%	2.42%	2.36%	2.38%

表5 量子概率与经典概率实验结果

数据集	方法	评估指标
数据集	方法	Mi-F	Acc
MUStARD	经典:NB+BERT	0.651	0.647
MUStARD	量子:QPIN-QM	0.754	0.753
Reddit	经典:NB+BERT	0.656	0.652
Reddit	量子:QPIN-QM	0.680	0.679

表6 角色信息实验结果

数据集	方法	评估指标
数据集	方法	Mi-F	Acc
MUStARD	(1)仅利用BERT将每个角色名表征为向量	0.752	0.756
	(2)只采取缩放因子	0.759	0.764
	(3)综合(1)和(2)两种方法	0.757	0.763
	QPIN-QM	0.754	0.753

参考文献 19

1	ZHANG Y, LI X, RONG L, TIWARI P. Multi-task learning for jointly detecting depression and emotion[C]//2021 IEEE International Conference on Bioinformatics and Biomedicine. Houston, Texas, USA: IEEE, 2021: 3142-3149.
2	张仰森, 周炜翔, 张禹尧, 吴云芳. 一种基于情感计算与层次化多头注意力机制的负面新闻识别方法[J].电子学报, 2020, 48(9): 1720-1728.
	ZHANG Yang-sen, ZHOU Wei-xiang, ZHANG Yu-yao, WU Yun-fang. A negative news recognition method based on emotional computing and hierarchical multi-head attention mechanism[J]. Acta Electronica Sinica, 2020, 48(9): 1720-1728. (in Chinese)
3	康世泽, 马宏, 黄瑞阳.一种基于 Opinosis 图和马尔科夫随机游走模型的多文本情感摘要框架[J]. 电子学报, 2017, 45(12): 3005-3011.
	KANG Shi-ze, MA Hong, HUANG Rui-yang. An Opinosis and MRW based sentiment summarization framework[J]. Acta Electronica Sinica, 2017, 45(12):3005-3011.(in Chinese)
4	ZHANG Y, SONG D, LI X, ZHANG P, et al. A quantum-like multimodal network framework for modeling interaction dynamics in multiparty conversational sentiment analysis[J]. Information Fusion, 2020, 62(1): 14-31.
5	ZHANG Y, TIWARI P, SONG D, et al. Learning interaction dynamics with an interactive LSTM for conversational sentiment analysis[J]. Neural Networks, 2021, 133: 40-56.
6	HUME D. A Treatise of Human Nature[M]. Chicago, USA: Courier Corporation, 2003.
7	谭光辉. 情感分析的几条基本规律[J]. 内蒙古社会科学(汉文版), 2018, 39(1): 8-14.
	TAN Guang-hui. Basic rules of sentiment analysis[J]. Inner Mongolia Social Sciences, 2018, 39(1): 8-14. (in Chinese)
8	TVERSKY A, KAHNEMAN D. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment[J]. Psychological Review, 1983, 90(4): 293-315.
9	WANG B, ZHANG P, LI J, et al. Exploration of quantum interference in document relevance judgement discrepancy[J]. Entropy, 2016, 18(4): 144-150.
10	ZHANG Y, SONG D, ZHANG P, et al. A quantum-inspired sentiment representation model for twitter sentiment analysis[J]. Applied Intelligence, 2019, 49(8): 3093-3108.
11	WANG B, LI Q, MELUCCI M, SONG D. Semantic Hilbert space for text representation learning[C]//Proceedings of the World Wide Web conference. San Francisco, USA: .
12	ZHANG Y, SONG D, ZHANG P, et al. A quantum-inspired multimodal sentiment analysis framework[J]. Theoretical Computer Science, 2018, 752: 21-40.
13	LIU Y, ZHANG Y, LI Q, et al. What does your smile mean? jointly detecting multi-modal sarcasm and sentiment using quantum probability[C]//Findings of the Association for Computational Linguistics: EMNLP. Virtual Conference: ACL, 2021: 871-880.
14	WANG P, HOU Y, LI Z, ZHANG Y. QIRM: A quantum interactive retrieval model for session search[J]. Neurocomputing, 2021, 451:57-66.
15	OCHS W. Gleason Measures and Quantum Comparative Probability[M]. Quantum Probability and Applications II. Heidelberg, Germany: Springer, 1985: 388-396.
16	CASTRO S, HAZARIKA D, PEREZ-ROSAS V, et al. Towards multimodal sarcasm detection (an obviously perfect paper)[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: ACL, 2020: 4619-4629.
17	GHOSH D, VAJPAYEE A, MURESAN S. A report on the 2020 sarcasm detection shared task[C]//Proceedings of the Second Workshop on Figurative Language Processing. Saarbrücken, Germany: ACL, 2020: 1-11.
18	KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar: ACL, 2014: 1746-1755.
19	KUMAR A, NARAPAREDDY VT, SRIKANTH VA, et al. Sarcasm detection using multi-head attention based bidirectional LSTM[J]. IEEE Access, 2020, 8(1): 6388-6397.

[1]	吴靖, 叶晓晶, 黄峰, 陈丽琼, 王志锋, 刘文犀. 基于深度学习的单帧图像超分辨率重建综述[J]. 电子学报, 2022, 50(9): 2265-2294.
[2]	李雪莹, 王田路, 梁鹏, 王翀. 基于系统模型的用户评论中非功能需求的自动分类[J]. 电子学报, 2022, 50(9): 2079-2089.
[3]	琚长瑞, 秦晓燕, 袁广林, 李豪, 朱虹. 尺度敏感损失与特征融合的快速小目标检测方法[J]. 电子学报, 2022, 50(9): 2119-2126.
[4]	张志昌, 于沛霖, 庞雅丽, 朱林, 曾扬扬. SMGN：用于对话状态跟踪的状态记忆图网络[J]. 电子学报, 2022, 50(8): 1851-1858.
[5]	王飞扬, 冀鹏欣, 孙笠, 危倩, 李根, 张忠宝. 一种基于深度学习的动态社交网络用户对齐方法[J]. 电子学报, 2022, 50(8): 1925-1936.
[6]	徐兴荣, 刘聪, 李婷, 郭娜, 任崇广, 曾庆田. 基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法[J]. 电子学报, 2022, 50(8): 1975-1984.
[7]	裴炤, 邱文涛, 王淼, 马苗, 张艳宁. 基于Transformer动态场景信息生成对抗网络的行人轨迹预测方法[J]. 电子学报, 2022, 50(7): 1537-1547.
[8]	欧阳与点, 谢鲲, 谢高岗, 文吉刚. 面向大规模网络测量的数据恢复算法：基于关联学习的张量填充[J]. 电子学报, 2022, 50(7): 1653-1663.
[9]	杨伟超, 杜宇, 文伟, 侯舒维, 徐常志, 张建华. 基于多重分形谱智能分析的卫星信号调制识别研究[J]. 电子学报, 2022, 50(6): 1336-1343.
[10]	彭闯, 王伦文, 胡炜林. 融合深度特征的电磁频谱异常检测算法[J]. 电子学报, 2022, 50(6): 1359-1369.
[11]	李政伟, 李佳树, 尤著宏, 聂茹, 赵欢, 钟堂波. 基于异质图注意力网络的miRNA与疾病关联预测算法[J]. 电子学报, 2022, 50(6): 1428-1435.
[12]	张波, 陆云杰, 秦东明, 邹国建. 一种卷积自编码深度学习的空气污染多站点联合预测模型[J]. 电子学报, 2022, 50(6): 1410-1427.
[13]	冀振燕, 韩梦豪, 宋晓军, 冯其波. 面向激光光条图像修复的循环相似度映射网络[J]. 电子学报, 2022, 50(5): 1234-1242.
[14]	廖勇, 李玉杰. 一种轻量化低复杂度的FDD大规模MIMO系统CSI反馈方法[J]. 电子学报, 2022, 50(5): 1211-1217.
[15]	潘敏婷, 王韫博, 朱祥明, 高思宇, 龙明盛, 杨小康. 基于无标签视频数据的深度预测学习方法综述[J]. 电子学报, 2022, 50(4): 869-886.

一种量子概率启发的对话讽刺识别网络模型

A Quantum Probability Inspired Network for Dialogue Sarcasm Recognition

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 19

相关文章 15

编辑推荐

Metrics