虚拟专栏文章

自然语言处理：技术与应用 从2017年科研论文《Attention is all your need》中提出Transformer模型，到GPT的诞生，再到今日ChatGPT的走红，自然语言处理领域的飞速发展引发了学界的广泛关注。《电子学报》本期专栏8篇论文聚焦新近自然语言处理领域的进展，涵盖的主题包含文本分类、语义解析、对话与问答系统和文本分类方法等，其中既有知识库问答方向的综述论文，又有基于深度强化学习或基于高效用神经网络等方法的研究论文。这些论文比较充分展现了当前研究热点的延伸，对相关研究方向的读者将会有所启发。

默认 最新文章 浏览次数

Please wait a minute... 选择: 导出引用 EndNote Ris BibTeX 显示/隐藏图片 Select 1. 面向知识库问答的问句语义解析研究综述 仇韫琦, 王元卓, 白龙, 尹芷仪, 沈华伟, 白硕 电子学报    2022, 50 (9): 2242-2264.   DOI: 10.12263/DZXB.20220212 摘要 （424）   在线全文 （36）    PDF下载 （1529KB）（573）    可视化    收藏 知识库问答（Knowledge Base Question Answering，KBQA）借助知识库中精度高、关联性强的结构化知识，为给定的复杂事实型问句提供准确、简短的答案.语义解析是知识库问答的主流方法之一，该类方法在给定的问句语义表征形式下，将非结构化的问句映射为结构化的语义表征，再将其改写为知识库查询获取答案.目前，面向知识库问答的语义解析方法主要面临三个挑战：首先是如何选择合适的语义表征形式以表达问句的语义，然后是如何解析问句的复杂语义并输出相应的语义表征，最后是如何应对特定领域中数据标注成本高昂、高质量数据匮乏的问题.本文从上述挑战出发，分析了知识库问答中常用的语义表征的特点与不足，然后梳理现有方法并总结分析其如何应对问句的复杂语义，接着介绍了当前方法在标注数据匮乏的低资源场景下的尝试，最后展望并讨论了面向知识库问答的语义解析的未来发展方向. 图表 | 参考文献 | 相关文章 | 多维度评价 Select 2. 基于短语向量和主题加权的关键词抽取方法 孙新, 盖晨, 申长虹, 张颖捷 电子学报    2021, 49 (9): 1682-1690.   DOI: 10.12263/DZXB.20200014 摘要 （303）   在线全文 （29）    PDF下载 （942KB）（315）    可视化    收藏 现有关键词抽取算法缺乏对短语的有效表示，为抽取出更能反映文本主题的关键短语，本文提出一种基于短语向量的关键词抽取方法PhraseVecRank.首先设计基于LSTM（Long Short-Term Memory）和CNN（Convolutional Neural Network）自编码器的短语向量构建模型，解决复杂短语的语义表示问题.然后，利用短语向量对每个候选短语计算主题权重，通过主题加权排序提高关键词抽取的效果.在公共数据集和学术论文数据上的实验表明，本文提出的方法能够有效提取与文本主题信息相关的关键短语，同时利用自编码器构造的短语向量可以更好地表示短语的语义信息. 图表 | 参考文献 | 相关文章 | 多维度评价 Select 3. 基于层次化修正框架的文本纠错模型 叶俊民, 罗达雄, 陈曙 电子学报    2021, 49 (2): 401-407.   DOI: 10.12263/DZXB.20200448 摘要 （253）      PDF下载 （1064KB）（218）    可视化    收藏 文本中存在的表达冗余、词汇误用和内容缺失等错误会显著影响文本语义的理解，当前解决上述文本错误的纠错模型存在两个主要的问题：当前的文本纠错模型主要基于编码器-解码器框架，解码速度较慢；许多工作将错误检测和修正分离成两个任务，没有形成统一的整体.为此，提出了一种基于层次化修正框架的文本纠错模型.首先，基于预训练模型建模得到文本的多种语义表示；其次，利用文本的语义表示识别出文本中错误的位置；最后，利用层次化修正框架计算精化的修正操作并完成对错误的修正.针对公开文本纠错数据集CONLL-14进行了相关实验，结果表明本文模型比所选取的对比模型有更快的解码速度和更高的召回率. 参考文献 | 相关文章 | 多维度评价 Select 4. 基于深度强化学习的维吾尔语人称代词指代消解 杨启萌, 禹龙, 田生伟, 艾山·吾买尔 电子学报    2020, 48 (6): 1077-1083.   DOI: 10.3969/j.issn.0372-2112.2020.06.005 摘要 （400）      PDF下载 （789KB）（275）    可视化    收藏 针对深度神经网络模型仅学习当前指代链语义信息忽略了单个指代链识别结果的长期影响问题，提出一种结合深度强化学习（deep reinforcement learning）的维吾尔语人称代词指代消解方法.该方法将指代消解任务定义为强化学习环境下顺序决策过程，有效利用之前状态中先行语信息判定当前指代链指代关系.同时，采用基于整体奖励信号优化策略，相比于使用损失函数启发式优化特定的单个决策，该方法直接优化整体评估指标更加高效.最后在维吾尔语数据集进行实验，实验结果显示，该方法在维吾尔语人称代词指代消解任务中的 F值为85.80%.实验结果表明，深度强化学习模型能显著提升维吾尔语人称代词指代消解性能. 参考文献 | 相关文章 | 多维度评价 Select 5. 基于高效用神经网络的文本分类方法 吴玉佳, 李晶, 宋成芳, 常军 电子学报    2020, 48 (2): 279-284.   DOI: 10.3969/j.issn.0372-2112.2020.02.008 摘要 （655）      PDF下载 （2194KB）（507）    可视化    收藏 现有的基于深度学习的文本分类方法没有考虑文本特征的重要性和特征之间的关联关系，影响了分类的准确率.针对此问题，本文提出一种基于高效用神经网络（High Utility Neural Networks，HUNN）的文本分类模型，可以有效地表示文本特征的重要性及其关联关系.利用高效用项集挖掘（Mining High Utility Itemsets，MHUI）算法获取数据集中各个特征的重要性以及共现频率.其中，共现频率在一定程度上反映了特征之间的关联关系.将MHUI作为HUNN的挖掘层，用于挖掘每个类别数据中重要性和关联性强的文本特征.然后将这些特征作为神经网络的输入，再经过卷积层进一步提炼类别表达能力更强的高层次文本特征，从而提高模型分类的准确率.通过在6个公开的基准数据集上进行实验分析，提出的算法优于卷积神经网络（Convolutional Neural Networks，CNN），循环神经网络（Recurrent Neural Networks，RNN），循环卷积神经网络（Recurrent Convolutional Neural Networks，RCNN），快速文本分类（Fast Text Classifier，FAST），分层注意力网络（Hierarchical Attention Networks，HAN）等5个基准算法. 参考文献 | 相关文章 | 多维度评价 Select 6. 一种基于情感计算与层次化多头注意力机制的负面新闻识别方法 张仰森, 周炜翔, 张禹尧, 吴云芳 电子学报    2020, 48 (9): 1720-1728.   DOI: 10.3969/j.issn.0372-2112.2020.09.008 摘要 （199）      PDF下载 （2145KB）（280）    可视化    收藏 网络负面新闻识别在网络舆情监测中具有重要的研究意义.针对当前海量数据下负面新闻难以检测的问题，提出了一种基于情感计算与层次化多头注意力机制相结合的负面新闻识别方法.首先，从新闻文本中采用TF-IDF（Term Frequeney-Inverse Document Frquency）和语义相似度算法构建负面新闻情感词库；其次，采用情感倾向计算方法计算负面新闻情感词的情感倾向度；最后，将词语和词语的情感倾向度进行向量化表示，并采用层次化多头注意力机制进行正负面新闻的判定.情感计算和多头注意力机制的引入，对于捕获文本中的情感词语提供了很大帮助.最终本文基于真实的网络新闻文本数据与现有的多种算法进行对比，证明了该模型具有较好的识别效果，相比于Han模型和LSTM模型分别提高了0.67%和3.29%. 参考文献 | 相关文章 | 多维度评价 Select 7. SMGN：用于对话状态跟踪的状态记忆图网络 张志昌, 于沛霖, 庞雅丽, 朱林, 曾扬扬 电子学报    2022, 50 (8): 1851-1858.   DOI: 10.12263/DZXB.20201463 摘要 （179）   在线全文 （14）    PDF下载 （970KB）（136）    可视化    收藏 对话状态跟踪是任务型对话系统的重要模块.已有研究使用注意力机制模拟图结构来引入历史信息，但这种方法无法显式利用对话状态的结构性.此外，如何生成复杂格式的对话状态也为研究带来了挑战.针对以上问题，本文提出一种状态记忆图网络SMGN（State Memory Graph Network）.该网络通过状态记忆图保存历史对话信息，并使用图结构与当前对话进行特征交互.本文还设计了一种基于状态记忆图的复杂对话状态生成方法.实验结果表明，本文提出的方法在CrossWOZ数据集上联合正确率提高1.39%，在MultiWOZ数据集上提高1.86%. 图表 | 参考文献 | 相关文章 | 多维度评价 Select 8. 一种量子概率启发的对话讽刺识别网络模型 张亚洲, 俞洋, 朱少林, 陈锐, 戎璐, 梁辉 电子学报    2022, 50 (8): 1885-1893.   DOI: 10.12263/DZXB.20211075 摘要 （199）   在线全文 （18）    PDF下载 （1961KB）（185）    可视化    收藏 对话讽刺识别已经成为人工智能领域中一项极具挑战性的课题，其目的是辨别互动对话中晦涩难懂的诸如讽刺、轻蔑、嘲笑等隐喻性情感.从语言哲学分析，目前的对话讽刺识别方法难以衡量人类语言在讽刺表达与理解方面固有的不确定性.鉴于量子概率在建模不确定性方面的优势，本文探索量子概率在讽刺识别领域的潜力并提出一种量子概率启发式网络.该网络主要包含复值嵌入层、量子复合层、量子测量层以及全连接层.本文将互动对话中每句话语视作是一组单词的类量子叠加，表征为复数向量.相邻话语之间的上下文交互被建模为量子系统与其周围环境的复合，表示为密度矩阵.本文对每句话语进行量子测量，提取讽刺特征，并将讽刺特征输入到全连接层预测得到讽刺识别结果.本文在两个基准数据集上进行实验，结果表明本文提出的模型优于先进讽刺识别模型，讽刺识别准确率分别提升5.2%与2.38%. 图表 | 参考文献 | 相关文章 | 多维度评价