黄欣研, 刘芳, 鲍骞月, 李任鹏, 刘旭, 李玲玲, 陈璞花, 刘洋
预出版日期: 2023-10-08
针对DR-GAN(Disentangled Representation learning-Generative Adversarial Network)方法[1]在将大偏转角度侧脸图像生成其正脸图像的整个生成过程中,由于没有考虑身份类别信息,从而导致在身份和姿态的解耦中存在真实的侧脸图像与其生成的正脸图像身份一致性较弱的问题,本文提出了一种基于多任务学习和身份约束的生成对抗网络人脸校正识别方法.该方法通过借鉴多任务学习机制,在生成网络的编码器与解码器之间构建了角度姿态分类模块和身份约束识别模块.这两个模块不但在生成过程中实现了人脸身份和姿态的解耦,更重要的是在由侧脸生成正脸的过程中加入了人脸身份监督信息.在训练过程中,该方法将身份和姿态类别直接作为身份编码特征和姿态编码特征的监督信息,并通过设计身份特征损失函数来约束侧脸的身份编码特征逼近其正脸的身份编码特征,实现了侧脸编码特征中身份信息和姿态信息的有效解耦,使解码器能更准确的生成与原侧脸图像保持身份一致的正脸图像.在M2FPA数据集上,对不同角度的侧脸图像使用所提方法生成的正脸图像进行识别,达到了更高的人脸识别准确率.实验结果表明,即使在偏转角度较大时,所提方法仍然能够较好地生成保持身份一致的正脸图像,显著提升了较大偏转角下人脸识别准确率.