通过形状模型参数的深度回归实现超实时人脸关键点检测与形状拟合
计算机视觉与模式识别
2019-02-12 v1 图像与视频处理
摘要
我们提出了一种高效的关键点检测方法，该方法将深度卷积神经网络与成熟的基于模型的拟合算法相结合。受主动形状等成熟的基于模型拟合方法的启发，我们使用关键点位置的 PCA 来实现人脸关键点的生成式建模。我们不使用迭代优化来计算模型参数，而是使用一种新型层将 PCA 包含在深度神经网络中。该网络在单次前向传播中预测模型参数，从而允许以每秒数百帧的速度进行人脸关键点检测。我们的架构允许对基于模型的关键点检测方法进行直接的端到端训练，并表明深度神经网络可用于直接可靠地预测模型参数，而无需迭代优化。该方法在不同的数据集上进行了人脸关键点检测和医学图像分割的评估。PyTorch 代码可在 https://github.com/justusschock/shapenet 免费获取
引用
@article{arxiv.1902.03459,
title = {Super-realtime facial landmark detection and shape fitting by deep regression of shape model parameters},
author = {Marcin Kopaczka and Justus Schock and Dorit Merhof},
journal= {arXiv preprint arXiv:1902.03459},
year = {2019}
}
备注
https://github.com/justusschock/shapenet