一种用于动作单元强度估计的热图回归迁移学习方法
计算机视觉与模式识别
2020-04-15 v1
摘要
动作单元（AUs）是基于几何的原子性面部肌肉运动，已知会在特定面部位置产生外观变化。受此观察启发，我们提出了一种新颖的 AU 建模问题，即联合估计其定位与强度。为此，我们提出了一种基于热图回归（Heatmap Regression）的简单而高效的方法，将两个问题合并为单一任务。热图对给定空间位置是否发生 AU 进行建模。为适应 AU 强度的联合建模，我们提出可变尺寸热图，其幅值与尺寸随标注强度变化。利用热图回归，我们可以继承近期在面部关键点定位中取得的进展。基于两个问题之间的相似性，我们设计了一种迁移学习方法，利用在大规模面部关键点数据集上训练的网络知识。具体而言，我们探索了通过 a) 微调、b) 适配层、c) 注意力图以及 d) 重参数化进行迁移学习的不同方案。我们的方法有效继承了强大的面部对齐网络所生成的丰富面部特征，且额外计算成本极小。我们经实证验证，我们的系统在 BP4D、DISFA 和 FERA2017 三个流行数据集上确立了新的 SOTA。
引用
@article{arxiv.2004.06657,
title = {A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation},
author = {Ioanna Ntinou and Enrique Sanchez and Adrian Bulat and Michel Valstar and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:2004.06657},
year = {2020}
}
备注
Submitted for review to IEEE Trans. on Affective Computing