电子学报 ›› 2021, Vol. 49 ›› Issue (7): 1286-1290.DOI: 10.12263/DZXB.20191296

• 学术论文 • 上一篇    下一篇

基于多层级视觉融合的图像描述模型

周东明1, 张灿龙1, 李志欣1, 王智文2   

  1. 1.广西师范大学广西多源信息挖掘与安全重点实验室,广西 桂林 541004
    2.广西科技大学计算机科学与通信工程学院,广西 柳州 545006
  • 收稿日期:2019-11-21 修回日期:2021-02-04 出版日期:2021-07-25 发布日期:2021-08-11
  • 作者简介:周东明 男,1995年5月出生于河南省信阳市,现为广西师范大学硕士研究生,主要研究方向为机器学习与图像处理.E‑mail:dmzhou1995@163.com
    张灿龙(通讯作者) 男,1975年出生于湖南省娄底市.广西师范大学教授,博士生导师.毕业于上海交通大学,获控制理论与控制工程专业博士学位.主要从事计算机视觉与机器学习.E‑mail:zcltyp@163.com
  • 基金资助:
    国家自然科学基金(61866004);广西自然科学基金(2018GXNSFDA281009);广西“八桂学者”创新研究团队;广西多源信息挖掘与安全重点实验室基金(20?A?03?01);广西研究生教育创新计划(XYCSZ2020071)

Image Captioning Model Based on Multi‑Level Visual Fusion

Dong-ming ZHOU1, Can-long ZHANG1, Zhi-xin LI1, Zhi-wen WANG2   

  1. 1.Guangxi Key Laboratory of Multi?source Information Mining and Security,Guangxi Normal University,Guilin,Guangxi 541004,China
    2.School of Computer Science and Communication Engineering,Guangxi University of Science and Technology,Liuzhou,Guangxi 545006,China
  • Received:2019-11-21 Revised:2021-02-04 Online:2021-07-25 Published:2021-08-11

摘要:

传统方法在视觉策略网络中只关注实体,不能够推理出实体和属性之间的联系,在语言策略网络存在暴露偏差和误差累计问题.为此,提出了一个基于强化学习的多层级视觉融合网络模型.在视觉策略网络中通过多层级神经网络模块将视觉特征转化为视觉知识的特征集.融合网络生成使描述语句更加流畅的虚词,用于视觉策略网络和语言策略网络的互动.在语言策略网络中使用基于强化学习的自批评策略梯度算法对视觉融合网络实现端到端的优化.实验结果表明,该模型在MS?COCO数据集取得不错效果,将Karpathy分割测试中的CIDEr值从120.1提高到124.3.

关键词: 图像描述, 视觉融合, 强化学习, 策略网络, 机器学习, 注意力机制

Abstract:

Traditional methods only focus on entities in the visual strategy network and cannot deduce the relationship between entities and attributes. There are problems of exposure bias and error accumulation in the language strategy network. Therefore, this paper proposes a multi?level visual fusion network model based on reinforcement learning. In the visual strategy network, multi?level sub?neural network module is used to transform visual features into feature sets of visual knowledge. The fusion network generates the function words which make the description sentences more fluent and can be used for the interaction between the visual strategy network and the language strategy network. The gradient algorithm of self?criticism strategy based on reinforcement learning is used to optimize the visual fusion network end?to?end. The experimental results show that the model can get good results in MS?COCO data set and improve the CIDEr value of Karpathy segmentation test from 120.1 to 124.3.

Key words: image captioning, visual fusion, reinforcement learning, strategy network, machine learning, attention mechanism

中图分类号: