电子学报 ›› 2023, Vol. 51 ›› Issue (3): 648-657.DOI: 10.12263/DZXB.20211052

• 学术论文 • 上一篇    下一篇

联合遮挡约束与残差补偿的特征金字塔光流计算方法

范兵兵1, 何庭建1, 张聪炫1,2, 陈震1, 黎明1   

  1. 1.南昌航空大学无损检测技术教育部重点实验室, 江西 南昌 330063
    2.中国科学院自动化研究所, 北京 100190
  • 收稿日期:2021-08-05 修回日期:2021-12-29 出版日期:2023-03-25
    • 通讯作者:
    • 张聪炫
    • 作者简介:
    • 范兵兵 男,1997年3月出生于江西省瑞昌市. 现为南昌航空大学测试与光电工程学院硕士研究生. 主要研究方向为图像检测与智能识别. E-mail: 2652459616@qq.com
      何庭建 男,1995年4月出生于江西省抚州市, 2021年6月南昌航空大学信息工程学院硕士研究生毕业,主要研究方向为图像检测与智能识别. E-mail: 511076738@qq.com
      张聪炫(通讯作者) 男,1984年7月出生于河南省焦作市. 2014年在南京航空航天大学获博士学位. 现为南昌航空大学教授,硕士生导师. 主要研究方向为图像检测与智能识别. 中国电子学会会员编号:E190014621M.
      陈 震 男,1969年11月出生于江西省九江市. 2003年在西北工业大学获得博士学位. 现为南昌航空大学教授, 博士生导师. 主要研究方向为计算机视觉、图像处理与模式识别. E-mail: dr_chenzhen@163.com
      黎 明 男,1965年2月出生于江西省樟树市. 1997年获南京航空航天大学博士学位. 现为南昌航空大学教授,博士生导师. 主要研究方向为图像处理与模式识别、智能计算.E-mail: limingniat@hotmail.com
    • 基金资助:
    • 国家自然科学基金(61866026);江西省优势科技创新团队计划(20165BCB19007);江西省技术创新引导类计划项目(20212AEI91005);江西省自然科学基金重点项目(20202ACB214007);航空科学基金(2018ZC56008);中国博士后科学基金(2019M650894);江西省教育厅科学技术研究项目(GJJ210910);江西省图像处理与模式识别重点实验室开放基金资助(ET202104413)

Feature Pyramid Optical Flow Estimation Method Jointing Occlusion Constraint and Residual Compensation

FAN Bing-bing1, HE Ting-jian1, ZHANG Cong-xuan1,2, CHEN Zhen1, LI Ming1   

  1. 1.Key Laboratory of Nondestructive Testing,Ministry of Education,Nanchang Hangkong University,Nanchang,Jiangxi 330063,China
    2.Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China
  • Received:2021-08-05 Revised:2021-12-29 Online:2023-03-25 Published:2023-04-20
    • Corresponding author:
    • ZHANG Cong-xuan
    • Supported by:
    • National Natural Science Foundation of China(61866026);Advantage Subject Team of Jiangxi Province(20165BCB19007);Technological Innovation Guidance Program of Jiangxi Province(20212AEI91005);Natural Science Foundation of Jiangxi Province(20202ACB214007);Aeronautical Science Foundation of China(2018ZC56008);China Postdoctoral Science Foundation(2019M650894);Science and Technology Program of Education Department of Jiangxi Province(GJJ210910);Open Fund of Jiangxi Key Laboratory of Image Processing and Pattern Recognition(ET202104413)

摘要:

针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边缘伪影,克服运动遮挡区域的图像边缘模糊问题.然后,采用特征图变形策略构建基于特征变形的光流残差补偿模块,利用该模块学习到的残差光流细化原始光流场,改善大位移运动区域的光流计算效果.最后,采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型,提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel (Max-Planck Institute and Sintel)和KITTI (Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析,实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.

关键词: 光流, 遮挡约束, 残差补偿, 特征金字塔网络, 深度学习, 边缘保护

Abstract:

To improve the accuracy and robustness of the deep-learning based optical flow estimation under motion occlusions and large displacements, we propose a feature pyramid optical flow computation method by jointing the occlusion constraint with residual compensation. First, an optical flow constraint module is designed based on the learning occlusion mask. The proposed constraint module predicts the occlusion feature map to restrain the edge artifacts of the warping features, which is able to overcome the issue of edge blurring in the motion occlusion areas. Second, a residual compensation module is constructed by using the feature map warping strategy, and the residual optical flows learned from the presented module are employed to refine the original flow fields. Third, the proposed occlusion constraint model and residual compensation module are incorporated into a feature pyramid framework to construct an optical flow estimation network. Finally, the MPI-Sintel (Max-Planck Institute and Sintel) and KITTI (Karlsruhe Institute of Technology and Toyota Technological Institute) datasets are employed to conduct a comprehensive comparison between the proposed method and the representative traditional optical flow methods, deep-learning optical flow methods. The experimental results demonstrate that the presented method significantly improves the accuracy and robustness of optical flow estimation under large displacements and motionocclusions.

Key words: optical flow, occlusion constraint, residual compensation, feature pyramid network, deep-learning, edge-preserving

中图分类号: