FAB：一种面向运动模糊视频的鲁棒人脸关键点检测框架
计算机视觉与模式识别
2019-10-29 v1
摘要
近年来，人脸关键点检测算法在静态图像上取得了卓越性能。然而，这些算法在运动模糊视频中既不准确也不稳定。结构信息的缺失使得最先进的人脸关键点检测算法难以产生良好结果。本文提出名为 FAB 的框架，利用时间维度上的结构一致性来进行运动模糊视频中的人脸关键点检测。提出一种结构预测器在时间上预测缺失的人脸结构信息，作为几何先验。这使得我们的框架形成一个良性循环。一方面，几何先验帮助我们的结构感知去模糊网络生成高质量去模糊图像，从而得到更好的人脸关键点检测结果。另一方面，更好的人脸关键点检测结果帮助结构预测器为下一帧生成更好的几何先验。此外，它是一个灵活的基于视频的框架，可整合任何基于静态图像的方法，以在视频数据集上提供性能提升。在 Blurred-300VW、提出的真实世界运动模糊（RWMB）数据集和 300VW 上的大量实验证明了相对于最先进方法的优越性能。数据集和模型将在 https://keqiangsun.github.io/projects/FAB/FAB.html 公开。
引用
@article{arxiv.1910.12100,
title = {FAB: A Robust Facial Landmark Detection Framework for Motion-Blurred Videos},
author = {Keqiang Sun and Wayne Wu and Tinghao Liu and Shuo Yang and Quan Wang and Qiang Zhou and Zuochang Ye and Chen Qian},
journal= {arXiv preprint arXiv:1910.12100},
year = {2019}
}
备注
Accepted to ICCV 2019. Project page: https://keqiangsun.github.io/projects/FAB/FAB.html