基于可微优化的无监督面部动作单元强度估计
计算机视觉与模式识别
2020-04-14 v1
摘要
从单张图像自动估计面部动作单元（AUs）的强度在面部分析系统中起着至关重要的作用。数据驱动的 AU 强度估计的一大挑战是缺乏充足的 AU 标注数据。由于 AU 标注需要较强的领域专业知识，构建大规模数据库以学习深度模型代价高昂。有限的标注 AU 数量以及身份差异和姿态变化进一步增加了估计难度。综合考虑这些困难，我们提出了一种无监督框架 GE-Net，用于从单张图像进行面部 AU 强度估计，无需任何标注的 AU 数据。我们的框架执行可微优化，迭代更新面部参数（即头部姿态、AU 参数和身份参数）以匹配输入图像。GE-Net 由两个模块组成：一个生成器和一个特征提取器。生成器以可微方式从一组面部参数学习“渲染”人脸图像，特征提取器提取深度特征以衡量渲染图像与输入真实图像的相似性。在两个模块训练完成并固定后，框架通过最小化渲染图像与输入图像之间提取特征的差异来搜索最优面部参数。实验结果表明，与现有方法相比，我们的方法可以达到最先进的性能。
引用
@article{arxiv.2004.05908,
title = {Unsupervised Facial Action Unit Intensity Estimation via Differentiable Optimization},
author = {Xinhui Song and Tianyang Shi and Tianjia Shao and Yi Yuan and Zunlei Feng and Changjie Fan},
journal= {arXiv preprint arXiv:2004.05908},
year = {2020}
}