基于热图回归的联合动作单元定位与强度估计
计算机视觉与模式识别
2018-07-23 v2
摘要
本文提出一种监督学习方法，联合执行面部动作单元（AU）定位与强度估计。与以往尝试学习动作单元区域无监督表示的工作不同，我们提出通过热图回归直接且联合估计所有 AU 的强度，以及它们在面部引起可见变化的位置。我们的方法旨在学习一个逐像素回归函数，为每个 AU 返回一个分数，该分数指示给定空间位置上的 AU 强度。热图回归随后为每个 AU 生成一幅图像或一个通道，其中每个像素指示相应的 AU 强度。为生成目标 AU 的真实热图，首先估计面部关键点，并在已知 AU 引起变化的点周围绘制二维高斯函数。高斯的幅值与大小由 AU 的强度决定。我们表明，使用单个 Hourglass 网络即足以达到新的 SOTA 结果，证明了这种简单方法的有效性。热图回归的使用允许在 AU 之间学习共享表示，而无需依赖潜在表示，因为这些是从数据中隐式学习的。我们在 BP4D 数据集上验证了所提方法，显示出相对于近期复杂技术的适度改进，以及对对齐错误的鲁棒性。测试代码与模型将从 https://github.com/ESanchezLozano/Action-Units-Heatmaps 下载。
引用
@article{arxiv.1805.03487,
title = {Joint Action Unit localisation and intensity estimation through heatmap regression},
author = {Enrique Sanchez-Lozano and Georgios Tzimiropoulos and Michel Valstar},
journal= {arXiv preprint arXiv:1805.03487},
year = {2018}
}
备注
BMVC 2018. Code and model will be available to download from https://github.com/ESanchezLozano/Action-Units-Heatmaps