基于多层级视觉融合的图像描述模型

doi:10.12263/DZXB.20191296

电子学报 ›› 2021, Vol. 49 ›› Issue (7): 1286-1290.DOI: 10.12263/DZXB.20191296

基于多层级视觉融合的图像描述模型

周东明¹, 张灿龙¹, 李志欣¹, 王智文²

^1.广西师范大学广西多源信息挖掘与安全重点实验室，广西桂林 541004
^2.广西科技大学计算机科学与通信工程学院，广西柳州 545006

收稿日期:2019-11-21 修回日期:2021-02-04 出版日期:2021-07-25 发布日期:2021-08-11
作者简介:周东明　男，1995年5月出生于河南省信阳市，现为广西师范大学硕士研究生，主要研究方向为机器学习与图像处理．E‑mail:dmzhou1995@163.com
张灿龙（通讯作者）　男，1975年出生于湖南省娄底市.广西师范大学教授，博士生导师．毕业于上海交通大学，获控制理论与控制工程专业博士学位．主要从事计算机视觉与机器学习．E‑mail:zcltyp@163.com
基金资助:
国家自然科学基金(61866004);广西自然科学基金(2018GXNSFDA281009);广西“八桂学者”创新研究团队;广西多源信息挖掘与安全重点实验室基金(20?A?03?01);广西研究生教育创新计划(XYCSZ2020071)

Image Captioning Model Based on Multi‑Level Visual Fusion

Dong-ming ZHOU¹, Can-long ZHANG¹, Zhi-xin LI¹, Zhi-wen WANG²

^1.Guangxi Key Laboratory of Multi?source Information Mining and Security，Guangxi Normal University，Guilin，Guangxi 541004，China
^2.School of Computer Science and Communication Engineering，Guangxi University of Science and Technology，Liuzhou，Guangxi 545006，China

Received:2019-11-21 Revised:2021-02-04 Online:2021-07-25 Published:2021-08-11

摘要/Abstract

摘要：

传统方法在视觉策略网络中只关注实体，不能够推理出实体和属性之间的联系，在语言策略网络存在暴露偏差和误差累计问题.为此，提出了一个基于强化学习的多层级视觉融合网络模型.在视觉策略网络中通过多层级神经网络模块将视觉特征转化为视觉知识的特征集.融合网络生成使描述语句更加流畅的虚词，用于视觉策略网络和语言策略网络的互动.在语言策略网络中使用基于强化学习的自批评策略梯度算法对视觉融合网络实现端到端的优化.实验结果表明，该模型在MS?COCO数据集取得不错效果，将Karpathy分割测试中的CIDEr值从120.1提高到124.3.

关键词: 图像描述, 视觉融合, 强化学习, 策略网络, 机器学习, 注意力机制

Abstract:

Traditional methods only focus on entities in the visual strategy network and cannot deduce the relationship between entities and attributes. There are problems of exposure bias and error accumulation in the language strategy network. Therefore, this paper proposes a multi?level visual fusion network model based on reinforcement learning. In the visual strategy network, multi?level sub?neural network module is used to transform visual features into feature sets of visual knowledge. The fusion network generates the function words which make the description sentences more fluent and can be used for the interaction between the visual strategy network and the language strategy network. The gradient algorithm of self?criticism strategy based on reinforcement learning is used to optimize the visual fusion network end?to?end. The experimental results show that the model can get good results in MS?COCO data set and improve the CIDEr value of Karpathy segmentation test from 120.1 to 124.3.

Key words: image captioning, visual fusion, reinforcement learning, strategy network, machine learning, attention mechanism

中图分类号:

TP181

周东明, 张灿龙, 李志欣, 王智文. 基于多层级视觉融合的图像描述模型[J]. 电子学报, 2021, 49(7): 1286-1290.

Dong-ming ZHOU, Can-long ZHANG, Zhi-xin LI, Zhi-wen WANG. Image Captioning Model Based on Multi‑Level Visual Fusion[J]. Acta Electronica Sinica, 2021, 49(7): 1286-1290.

图/表 5

参考文献 12

1	Chen S， Jin Q， Wang P. Say as you wish： fine‑grained control of image caption generation with abstract scene graphs［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. USA：IEEE， 2020. 9962 - 9971.
2	Shi J， Zhang H， Li J. Explainable and explicit visual reasoning over scene graphs［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. California：IEEE，2019. 8376 - 8384.
3	张志昌，曾扬扬，庞雅丽. 融合语义角色和自注意力机制的中文文本蕴含识别［J］. 电子学报，2020，48（11）： 2162 - 2169.
	ZHANG Zhi‑chang， ZENG Yang‑yang， PANG Ya‑li. A Chinese textual entailment recognition method incorporating semantic role and self‑attention［J］. Acta Electronica Sinica， 2020， 48（11）： 2162 - 2169.（in Chinese）
4	Rennie S J， Marcheret E， Mroueh Y. Self‑critical sequence training for image captioning［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. Hawaii：IEEE， 2017. 7008 - 7024.
5	Lu J， Yang J， Batra D. Neural baby talk［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. Salt Lake City： IEEE， 2018. 7219 - 7228.
6	Anderson P， He X， Buehler C. Bottom‑up and top‑down attention for image captioning and visual question answering［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. Salt Lake City：IEEE， 2018. 6077 - 6086.
7	汤鹏杰，王瀚漓，许恺晟. LSTM 逐层多目标优化及多层概率融合的图像描述［J］. 自动化学报， 2018， 44（7）： 1237 - 1249.
	TANG Peng‑jie， WANG Han‑li， XU Kai‑sheng. Multi‑ objective layer‑wise optimization and multi‑level probability fusion for image description generation using lstm［J］. Acta Automatica Sinica， 2018， 44（7）： 1237 - 1249.（in Chinese）
8	Deshpande A， Aneja J， Wang L. Fast， diverse and accurate image captioning guided by part‑of‑speech［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. California：IEEE， 2019. 10695 - 10704.
9	Yang X， Tang K， Zhang H. Auto‑encoding scene graphs for image captioning［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. California：IEEE， 2019. 10685 - 10694.
10	Chen L， Zhang H， Xiao J. SCA‑CNN： spatial and channel‑ wise attention in convolutional networks for image captioning［A］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. Hawaii：IEEE， 2017. 5659 - 5667.
11	Feng Y， Ma L， Liu W. Unsupervised image captioning［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. California：IEEE， 2019. 4125 - 4134.
12	Jiang W， Ma L， Jiang Y. Recurrent fusion network for image captioning［A］.Proceedings of the European Conference on Computer Vision［C］. Germany： Springer， 2018. 499 - 515.

[1]	卓亚琦, 魏家辉, 李志欣. 基于双注意模型的图像描述生成方法研究[J]. 电子学报, 2022, 50(5): 1123-1130.
[2]	易令, 李泽平. 基于深度强化学习的码率自适应算法研究[J]. 电子学报, 2022, 50(5): 1192-1200.
[3]	黄璐, 蔚保国, 李宏生, 李隽, 贾浩男, 程建强, 李雅宁. GNSS拒止环境下的伪卫星指纹定位方法[J]. 电子学报, 2022, 50(4): 811-822.
[4]	王延达, 陈炜通, 皮德常, 岳琳. 一种自适应记忆神经网络多跳读取与覆盖度机制结合的药物推荐模型[J]. 电子学报, 2022, 50(4): 943-953.
[5]	张涛, 张文涛, 代凌, 陈婧怡, 王丽, 魏倩茹. 基于序贯博弈多智能体强化学习的综合模块化航空电子系统重构方法[J]. 电子学报, 2022, 50(4): 954-966.
[6]	崔亚奇, 何友, 唐田田, 熊伟. 一种深度学习航迹关联方法[J]. 电子学报, 2022, 50(3): 759-763.
[7]	张凌明, 赵悦, 李鹏程, 刘洋, 高陈强. 基于局部注意力机制的三维牙齿模型分割网络[J]. 电子学报, 2022, 50(3): 681-690.
[8]	伍邦谷, 张苏林, 石红, 朱鹏飞, 王旗龙, 胡清华. 基于多分支结构的不确定性局部通道注意力机制[J]. 电子学报, 2022, 50(2): 374-382.
[9]	蒋华伟, 郭陶, 杨震. 车辆路径问题研究进展[J]. 电子学报, 2022, 50(2): 480-492.
[10]	王波, 黄冕, 刘利军, 黄青松, 单文琦. 基于多层聚焦Inception-V3卷积网络的细粒度图像分类[J]. 电子学报, 2022, 50(1): 72-78.
[11]	赵琰, 赵凌君, 匡纲要. 基于注意力机制特征融合网络的SAR图像飞机目标快速检测[J]. 电子学报, 2021, 49(9): 1665-1674.
[12]	肖硕, 黄珍珍, 张国鹏, 杨树松, 江海峰, 李天旭. 基于SAC的多智能体深度强化学习算法[J]. 电子学报, 2021, 49(9): 1675-1681.
[13]	张梦, 郑建宏, 刘香燕, 何云. 基于集成学习的全双工中继系统安全中继选择方案研究[J]. 电子学报, 2021, 49(9): 1852-1856.
[14]	管永明, 王刚, 骆凯波, 吕梁, 吕晓雯, 史玉良. 基于极端不平衡学习的泛化低压异常箱表关系识别研究与应用[J]. 电子学报, 2021, 49(8): 1507-1514.
[15]	郑海颖, 王峰, 姜维, 王志强, 姚西文. 神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估[J]. 电子学报, 2021, 49(8): 1599-1614.

基于多层级视觉融合的图像描述模型

Image Captioning Model Based on Multi‑Level Visual Fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 12

相关文章 15

编辑推荐

Metrics