用于跨域面部动作单元检测的解耦双重对比学习
计算机视觉与模式识别
2025-03-13 v1
摘要
尽管当前基于视觉的面部动作单元（AU）检测方法表现出色，但它们极易受到不同域之间变化的影响，且跨域AU检测方法仍被探索不足。为了应对这一挑战，我们提出了一种解耦双重对比自适应（DCA）方法，以学习在源域和目标域之间语义对齐的纯化AU表示。具体而言，我们将潜在表示分解为AU相关和AU无关的组件，旨在专门促进AU相关子空间内的自适应。为了实现特征解耦，DCA被训练为在跨域场景下，当修改AU或域属性时，通过评估合成人脸的质量来解耦AU和域因子。为了进一步加强特征解耦，特别是在AU数据多样性有限的情况下，DCA采用了一种包含图像和特征级对比学习的双重对比学习机制，以确保合成人脸的质量并减轻特征模糊。这一新框架实现了对AU相关和域相关因子的自动学习与专门分离，并实现了对跨域人脸图像合成的直观、特定尺度的控制。广泛的实验证明了DCA在成功解耦AU和域因子方面的有效性，产生了视觉上令人愉悦的跨域合成人脸。同时，DCA始终优于最先进的跨域AU检测方法，在各种跨域场景中实现了6%-14%的平均F1分数提升。
引用
@article{arxiv.2503.08977,
title = {Decoupled Doubly Contrastive Learning for Cross Domain Facial Action Unit Detection},
author = {Yong Li and Menglin Liu and Zhen Cui and Yi Ding and Yuan Zong and Wenming Zheng and Shiguang Shan and Cuntai Guan},
journal= {arXiv preprint arXiv:2503.08977},
year = {2025}
}
备注
Accepted by IEEE Transactions on Image Processing 2025. A novel and elegant feature decoupling method for cross-domain facial action unit detection