从静态图像推断面部动作的动态表示
计算机视觉与模式识别
2019-04-05 v1
摘要
面部动作本质上是时空信号，因此其建模关键依赖于时间信息的可用性。在本文中，我们关注在无可显式时间信息时（即从静态图像中）推断此类面部动作的时间动态。我们提出了一种捕获此类时间动态多尺度的新方法，应用于面部动作单元（AU）强度估计与维度情感估计。具体而言，1）我们提出一个从静态图像推断动态表示（DR）的框架，其捕获以输入图像为中心的短时间窗内的双向时间流；2）我们展示可在无需显式生成目标表示的情况下训练我们的方法，使网络能更宽泛地表示动态；3）我们提出应用多时间尺度方法，从静态图像推断不同窗长的 DR（MDR）。我们在帧排序任务上实证验证了方法的价值，并展示了我们提出的 MDR 在 BP4D 上面部动作单元强度估计和在 SEMAINE 上维度情感估计仅使用静态图像测试时达到了 SOTA 结果。
引用
@article{arxiv.1904.02382,
title = {Inferring Dynamic Representations of Facial Actions from a Still Image},
author = {Siyang Song and Enrique Sánchez-Lozano and Linlin Shen and Alan Johnston and Michel Valstar},
journal= {arXiv preprint arXiv:1904.02382},
year = {2019}
}
备注
10 pages, 5 figures