使用单个 Dual-Pixel 相机进行面部深度与法向估计
计算机视觉与模式识别
2022-07-20 v2
摘要
近年来，许多手机制造商在其旗舰机型中采用了 Dual-Pixel (DP) 传感器，以实现更快的自动对焦和美观的图像捕捉。尽管 DP 传感器具有优势，但由于缺乏利用 DP 图像中视差的数据集和算法设计，其在 3D 面部理解方面的研究一直受限。这是因为子孔径图像的基线极窄，且视差存在于散焦模糊区域。在本文中，我们引入了一个面向 DP 的深度/法向网络，用于重建 3D 面部几何。为此，我们使用多相机结构光系统采集了包含 101 人超过 135K 张图像的 DP 面部数据集。该数据集包含相应的真值 3D 模型，包括度量尺度下的深度图和表面法向。我们的数据集使得所提出的匹配网络能够泛化用于 3D 面部深度/法向估计。所提出的网络包含两个新颖模块：自适应采样模块和自适应法向模块，它们专门用于处理 DP 图像中的散焦模糊。最终，所提出的方法在近期的基于 DP 的深度/法向估计方法中达到了最先进的性能。我们还展示了估计的深度/法向在人脸欺骗检测和重光照中的应用。
引用
@article{arxiv.2111.12928,
title = {Facial Depth and Normal Estimation using Single Dual-Pixel Camera},
author = {Minjun Kang and Jaesung Choe and Hyowon Ha and Hae-Gon Jeon and Sunghoon Im and In So Kweon and KuK-Jin Yoon},
journal= {arXiv preprint arXiv:2111.12928},
year = {2022}
}
备注
Github page : https://github.com/MinJunKang/DualPixelFace To be appeared in ECCV 2022