基于潜在特征域的无约束面部动作单元检测
计算机视觉与模式识别
2021-06-22 v4
摘要
自然场景下面部动作单元(AU)检测是一项具挑战性的问题,原因在于面部外观的无约束多变以及准确标注的缺乏。多数现有方法依赖于不切实际的劳动密集型标注或不准确的伪标签。本文提出一种基于域自适应的端到端无约束面部AU检测框架,其通过利用AU相关面部关键点的标签,将准确的AU标签从受约束源域迁移至无约束目标域。具体而言,我们将带标签的源图像与无标签的目标图像通过结合源关键点相关特征与目标无关键点特征,映射至一潜在特征域。由于结合了源AU相关信息与目标AU无关信息,可通过最大化目标域AU检测性能来学习带有迁移源标签的潜在特征域。此外,我们引入一种新颖的关键点对抗损失,通过将对抗学习视为多玩家极小极大博弈,从无关键点特征中解耦出关键点相关特征。我们的框架也可自然扩展以利用目标域伪AU标签。大量实验表明,在具挑战性的自然场景基准上,我们的方法明显优于基础模型的下界与上界以及最先进方法。代码见https://github.com/ZhiwenShao/ADLD。
引用
@article{arxiv.1903.10143,
title = {Unconstrained Facial Action Unit Detection via Latent Feature Domain},
author = {Zhiwen Shao and Jianfei Cai and Tat-Jen Cham and Xuequan Lu and Lizhuang Ma},
journal= {arXiv preprint arXiv:1903.10143},
year = {2021}
}
备注
This paper has been accepted by IEEE Transactions on Affective Computing