电子学报 ›› 2020, Vol. 48 ›› Issue (11): 2162-2169.DOI: 10.3969/j.issn.0372-2112.2020.11.010

所属专题: 自然语言处理技术

• 学术论文 • 上一篇    下一篇

融合语义角色和自注意力机制的中文文本蕴含识别

张志昌, 曾扬扬, 庞雅丽   

  1. 西北师范大学计算机科学与工程学院, 甘肃兰州 730000
  • 收稿日期:2019-11-29 修回日期:2020-03-30 出版日期:2020-11-25
    • 作者简介:
    • 张志昌 男,1976年4月出生,甘肃天水人.教授、硕士生导师.1998年、2003年和2010年分别在西北师范大学、西北工业大学、哈尔滨工业大学获工学学士、工学硕士和工学博士学位.研究方向为自然语言处理,主要进行问答技术、医疗文本处理技术研究.E-mail:zzc@nwnu.edu.cn;曾扬扬 男,1996年4月出生,河南项城人.西北师范大学计算机科学与工程学院硕士研究生.研究方向为自然语言处理.E-mail:zeng2y@126.com
    • 基金资助:
    • 国家自然科学基金 (No.61762081,No.61662067,No.61662068); 甘肃省重点研发计划 (No.17YF1GA016)

A Chinese Textual Entailment Recognition Method Incorporating Semantic Role and Self-Attention

ZHANG Zhi-chang, ZENG Yang-yang, PANG Ya-li   

  1. College of Computer Science and Engineering, Northwest Normal University, Lanzhou, Gansu 730000, China
  • Received:2019-11-29 Revised:2020-03-30 Online:2020-11-25 Published:2020-11-25
    • Supported by:
    • National Natural Science Foundation of China (No.61762081, No.61662067, No.61662068); Key Research and Development Project of Gansu Province (No.17YF1GA016)

摘要: 文本蕴含识别旨在识别两个给定句子之间的逻辑关系.本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与Transformer模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力.针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能.实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集CNLI上的准确率达到了80.28%.

关键词: 自然语言处理, 文本蕴含, 自注意力机制, 语义角色标注, 预训练语言模型

Abstract: Recognizing textual entailment is intended to infer the logical relationship between two given sentences. In this paper, we incorporate the deep semantic information of sentences and the encoder of Transformer by constructing the SRL-Attention fusion module, and it effectively improves the ability of self-attention mechanism to capture sentence semantics. Furthermore, concerning the small scale and high noise problems on the dataset, we use large-scale pre-trained language model improving the recognition performance of model on small-scale dataset. Experimental results show that the accuracy of our model on the dataset CNLI, it is released as Chinese textual entailment recognition evaluation corpus at the 17th China National Conference on Computational Linguistics, reaches 80.28%.

Key words: natural language processing, textual entailment, self-attention mechanism, semantic role labeling, pre-trained language model

中图分类号: