电子学报 ›› 2023, Vol. 51 ›› Issue (3): 658-665.DOI: 10.12263/DZXB.20210628

• 学术论文 • 上一篇    下一篇

基于双路分段注意力神经张量网络的临床文本关系抽取

隗昊1,2, 唐焕玲3, 周爱2, 张益嘉2, 陈飞2, 鲁明羽2   

  1. 1.大连外国语大学软件学院, 辽宁 大连 116044
    2.大连海事大学信息科学技术学院, 辽宁 大连 116026
    3.山东工商学院计算机科学与技术学院, 山东 烟台 264005
  • 收稿日期:2021-05-18 修回日期:2021-07-16 出版日期:2023-03-25
    • 通讯作者:
    • 鲁明羽
    • 作者简介:
    • 隗 昊 男,讲师,博士,1993年生于山东济南.2017年于云南师范大学获得理学硕士学位,2021年于大连海事大学获得工学博士学位,研究方向为生物医学信息抽取、深度学习等. E-mail: wh1005@dlmu.edu.cn
      唐焕玲 女,教授,博士,硕士生导师,1970年生于山东龙口.2004年于清华大学获得工学硕士学位,2009年于大连海事大学大学获得工学博士学位.从事机器学习、人工智能、数据挖掘等方向的理论及应用研究. E-mail: thl01@163.com
      周 爱 女,博士研究生,1990年生于黑龙江哈尔滨.2017年于香港理工大学获得硕士学位,现于大连海事大学攻读博士学位,研究方向为数据挖掘、机器学习等. E-mail: zhouai9070@163.com
      张益嘉 男,副教授,博士,硕士生导师,1979年生于吉林长春.2009年于大连理工大学获得工学硕士学位,2014年于大连理工大学获得工学博士学位.从事自然语言处理、生物医学知识挖掘等方向的理论及应用研究. E-mail: zhangyijia@dlmu.edu.cn
      陈 飞 男,讲师,博士,硕士生导师,1979年出生于辽宁本溪. 2005年于大连海事大学获得工学硕士学位,2010年于大连海事大学获得管理学博士学位.从事人工智能、机器学习、数据挖掘等方向的理论及应用研究. E-mail: dlmucf@163.com
      鲁明羽 男,教授,博士生导师.1963年生于黑龙江鸡西.1988年、2002年于清华大学分别获得工学硕士和工学博士学位,从事机器学习、人工智能、数据挖掘等方向的理论及应用研究. E-mail: lumingyu@dlmu.edu.cn
    • 基金资助:
    • 国家自然科学基金(61976124)

Clinical Relation Extraction via Dual Piecewise Attention Neural Tensor Network

WEI Hao1,2, TANG Huan-ling3, ZHOU Ai2, ZHANG Yi-jia2, CHEN Fei2, LU Ming-yu2   

  1. 1.School of Software,Dalian University of Foreign Languages,Dalian,Liaoning 116044,China
    2.Information Science and Technology College,Dalian Maritime University,Dalian,Liaoning 116026,China
    3.School of Computer Science and Technology,Shandong Technology and Business University,Yantai,Shandong 264005,China
  • Received:2021-05-18 Revised:2021-07-16 Online:2023-03-25 Published:2023-04-20
    • Corresponding author:
    • LU Ming-yu
    • Supported by:
    • National Natural Science Foundation of China(61976124)

摘要:

目前,生物医学领域的关系提取工作已经取得了长足的发展,但是在面对句式复杂的临床医学文本时,由于存在大量长句以及句中实体对的高密度分布,限制了当前关系抽取模型性能的进一步提升.本文提出了一种基于张量权重矩阵的双向门控循环单元网络(Tensor-based Bidirectional Gated Recurrent Unit, Tensor-BiGRU)和分段注意力机制的关系抽取模型,基于张量权重矩阵改进BiGRU网络的编码方式,提升神经网络捕获底层特征的能力,而后提出了两种分段注意力机制,以提高模型捕获长句特征的性能.此外,当句子中有多个实体对时,引入实体对的语义信息特征来克服模型的性能下降.本文进一步提出一种权重自适应的交叉熵损失函数,用于提升模型面对数据集中不同关系类别的样本分布不平衡问题的泛化性.实验结果表明,在不依赖任何特征工程和高性能运算环境的情况下,本文模型在2010 i2b2/VA临床关系抽取数据集上实现了先进的性能.

关键词: 关系抽取, 临床文本, 神经张量网络, 分段注意力机制, 样本不平衡

Abstract:

At present, biomedical relation extraction has made considerable progress. However, when dealt with complex clinical texts, due to the large number of long sentences and the high density distribution of entity pairs in the sentences, the existing methods of relation extraction still have defects. We propose a relation extraction model via tensor-based bidirectional gate recurrent unit (Tensor-BiGRU) and piecewise attention mechanism. The ability of BiGRU to extract the underlying features is enhanced based on tensor weight matrix. Two kinds of piecewise attention mechanisms are proposed to improve the performance of the model in capturing long sentence features.When the sentence has multiple entity pairs, the semantic representations of the entity pairs are introduced to overcome the performance degradation of the mode. A weight-adaptive cross-entropy loss function is proposed to improve the generalization of the model when the sample distribution of different relation categories in the dataset is unbalanced. The experimental results show that without relying on any feature engineering and high-performance computing environment, the model achieves advanced performance on the 2010 i2b2/VA clinical data set.

Key words: relation extraction, clinical texts, neural tensor network, piecewise attention mechanism, sample imbalance

中图分类号: