基于动态图卷积与语义对应学习的面部动作单元强度估计
计算机视觉与模式识别
2020-04-22 v1
摘要
由于人面部外观的细微变化，面部动作单元（AU）的强度估计具有挑战性。以往方法主要依赖概率模型或预定义规则来建模AU之间的共现关系，导致泛化能力有限。相比之下，我们提出了一种新的学习框架，通过在特征图之间建立语义对应来自动学习AU的潜在关系。在基于热图回归的网络中，特征图保留了与AU强度和位置相关的丰富语义信息。此外，AU的共现模式可通过激活一组特征通道来反映，其中每个通道编码一种特定的AU视觉模式。这促使我们对特征通道之间的相关性进行建模，从而隐式表示AU强度级别的共现关系。具体而言，我们引入了语义对应卷积（SCC）模块，以动态计算高分辨率与低分辨率特征图之间的对应关系，从而增强特征的判别能力。实验结果证明了我们方法在两个基准数据集上的有效性与优越性能。
引用
@article{arxiv.2004.09681,
title = {Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution},
author = {Yingruo Fan and Jacqueline C. K. Lam and Victor O. K. Li},
journal= {arXiv preprint arXiv:2004.09681},
year = {2020}
}
备注
Accepted at AAAI2020