基于可微渲染器的无监督学习面部参数回归器用于动作单元强度估计
计算机视觉与模式识别
2020-08-21 v1
摘要
面部动作单元（AU）强度是描述所有视觉可辨面部运动的指标。现有多数方法利用有限的 AU 数据学习强度估计器，缺乏数据集外的泛化能力。本文提出一种框架，基于骨驱动人脸模型（BDFM）在不同视角下预测面部参数（包括身份参数与 AU 参数）。所提框架由特征提取器、生成器和面部参数回归器组成。该回归器借助生成器的帮助可从单张人脸图像拟合 BDFM 的物理意义参数，生成器将面部参数映射为游戏人脸图像，充当可微渲染器。此外，身份损失、回环损失与对抗损失可改善回归结果。在 BP4D 与 DISFA 两个公开数据库上的定量评估表明，所提方法取得了与最优方法相当或更优的性能。定性结果也证明了我们的方法在真实场景下的有效性。
引用
@article{arxiv.2008.08862,
title = {Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer},
author = {Xinhui Song and Tianyang Shi and Zunlei Feng and Mingli Song and Jackie Lin and Chuanjie Lin and Changjie Fan and Yi Yuan},
journal= {arXiv preprint arXiv:2008.08862},
year = {2020}
}