基于深度学习的自拍图像纠正的端到端深度管线
计算机视觉与模式识别
2025-09-16 v2 机器学习
摘要
通常情况下，近距离拍摄的肖像或自拍图像会受到视角畸变的影响。本文提出一种基于深度学习的端到端纠正管线，以缓解视角畸变的影响。我们通过训练深度卷积神经网络来学习预测面部深度。估计得到的深度用于调整相机到主体的距离，即移动相机距离主体更远、增加相机焦距，并对 3D 图像特征进行重新投影以获得新的视角。随后，将重投影后的特征输入到填充模块中以填充缺失的像素。我们利用可微分渲染器，以实现深度估计和特征提取网络的端到端训练，以提高纠正后输出的质量。为提升填充模块的结果，我们引入一个辅助模块来预测相机的水平移动，从而减少需要对挑战性面部部位（如耳朵）进行幻觉的区域。与以往工作不同，我们一次性处理整个帧图像，而不对面部区域和身体区域进行裁剪和分开处理，从而消除了复杂的后处理步骤以重新拼接面部与身体的需求。为训练我们的网络，我们利用流行的游戏引擎 Unreal Engine 生成大型合成人脸数据集，包含 various subjects、head poses、expressions、eyewear、clothes、lighting 等多样因素。定量和定性结果表明，我们的纠正管线优于先前方法，同时以超过 260 倍的速度产生与耗时的基于 3D GAN 方法相当的效果。
引用
@article{arxiv.2412.19189,
title = {An End-to-End Depth-Based Pipeline for Selfie Image Rectification},
author = {Ahmed Alhawwary and Janne Mustaniemi and Phong Nguyen-Ha and Janne Heikkilä},
journal= {arXiv preprint arXiv:2412.19189},
year = {2025}
}
备注
Accepted at IEEE TPAMI