电子学报 ›› 2022, Vol. 50 ›› Issue (9): 2146-2154.DOI: 10.12263/DZXB.20210393

• 学术论文 • 上一篇    下一篇

结合显著性的MVD视频整帧丢失错误隐藏

崔金鹏, 周洋, 殷海兵(), 黄晓峰(), 陆宇()   

  1. 杭州电子科技大学通信工程学院, 浙江 杭州 310018
  • 收稿日期:2021-03-25 修回日期:2022-02-08 出版日期:2022-09-25
    • 通讯作者:
    • 周洋
    • 作者简介:
    • 崔金鹏 男,1996年9月出生于山东省潍坊市.现为杭州电子科技大学通信工程学院硕士生.主要研究方向为3D视频编解码与差错控制.E‑mail:reader@163.com
      周 洋 男,1979年1月出生于浙江省台州市.现为杭州电子科技大学通信工程学院副教授,硕士生导师,主要研究方向为3D视频编解码、视频图像处理.
      殷海兵 男,1974年6月出生于湖北黄梅.教授,博士生导师.主要研究方向为智能信息处理.E‑mail:yhb@hdu.edu.cn
      黄晓峰 男,1988年1月出生于江西婺源.主要研究方向为视频芯片架构.E‑mail:xfhuang@hdu.edu.cn
      陆 宇 男,1977年5月出生于广西博白.主要研究方向视频编解码.E‑mail:y_lu@hdu.edu.cn
    • 基金资助:
    • 浙江省自然科学基金 (Y21F020076); 国家自然科学基金 (61972123); 浙江省影视媒体技术研究重点实验室开放基金 (CM2021001)

Error Concealment for Frame Losses in MVD Video Using Saliency

CUI Jin-peng, ZHOU Yang, YIN Hai-bing(), HUANG Xiao-feng(), LU Yu()   

  1. School of Telecommunication Engineering,Hangzhou Dianzi University,Hangzhou,Zhejiang 310018,China
  • Received:2021-03-25 Revised:2022-02-08 Online:2022-09-25 Published:2022-10-26
    • Corresponding author:
    • ZHOU Yang

摘要:

基于多视点视频加深度(Multiview Video plus Depth, MVD)格式的三维视频能给用户提供多视角的沉浸式视觉体验.针对MVD视频流传输中彩色帧发生整帧丢失的情况,提出了一种结合视觉显著性的三维视频整帧丢失错误隐藏算法.先将丢失帧各区域划分为三种不同的显著等级,然后对低、中、高显著区域,分别采用时域直接拷贝、时域和视点间像素自适应搜索法和新型的运动矢量补偿法进行恢复.相较于目前的对比算法,经提出算法重建后的丢失帧的峰值信噪比值(Peak Signal to Noise Ratio, PSNR)和结构相似度值(Structural Similarity Index Measure, SSIM)能分别提高0.99~2.61 dB和0.005~0.012,并且重建图像主观视觉质量更佳.

关键词: 多视点加深度, 错误隐藏, 整帧丢失, 视觉显著性, 运动补偿, 视差补偿

Abstract:

The 3D video based on multiview video plus depth(MVD) format can provide users with immersive experiences from different viewpoints. To solve the whole color frame losses in MVD video stream transmission, we propose a novel error concealment algorithm of whole-frames loss using visual saliency. Firstly, each region of the lost frame is classified into three different saliency levels. The low, medium and high saliency regions are recovered by direct temporal copy, adaptive pixel matching search between temporally and inter-view domains, and a new motion vector compensation, respectively. Compared with the recent algorithms, the lost frame concealed by the proposed algorithm achieves significant improvements in the average PSNR and SSIM with approximate gains of 0.99~2.61 dB and 0.005~0.012, respectively. In addition, our concealed results have better visual quality than compared methods.

Key words: multiview video plus depth, error concealment, whole frame loss, visual saliency, motion compensation, disparity compensation

中图分类号: