我们距离解决 2D 与 3D 人脸对齐问题还有多远？（以及一个包含 230,000 个 3D 面部关键点的数据集）
计算机视觉与模式识别
2018-08-28 v3 机器学习
摘要
本文研究了一个极深的神经网络在现有 2D 和 3D 人脸对齐数据集上达到接近饱和性能还有多远。为此，我们做出了以下 5 项贡献： 我们首次通过将用于关键点定位的最先进架构与最先进的残差块相结合，构建了一个非常强的基线，在一个非常大但经过合成扩展的 2D 面部关键点数据集上对其进行训练，并最终在所有其他 2D 面部关键点数据集上进行评估。 我们创建了一个由 2D 关键点引导的网络，该网络将 2D 关键点标注转换为 3D 并统一所有现有数据集，从而创建了 LS3D-W，这是迄今为止最大且最具挑战性的 3D 面部关键点数据集，包含约 230,000 张图像。 随后，我们训练了一个用于 3D 人脸对齐的神经网络，并在新引入的 LS3D-W 上进行了评估。 我们进一步研究了所有影响人脸对齐性能的“传统”因素（如大姿态、初始化和分辨率）的影响，并引入了一个“新”因素，即网络规模。 我们表明，2D 和 3D 人脸对齐网络均达到了极高精度的性能，这可能已接近所用数据集的饱和点。训练和测试代码以及数据集可从 https://www.adrianbulat.com/face-alignment/ 下载
引用
@article{arxiv.1703.07332,
title = {How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)},
author = {Adrian Bulat and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:1703.07332},
year = {2018}
}
备注
accepted to ICCV 2017