中文

超越过拟合:用于可泛化AU检测的双重自适应Dropout

计算机视觉与模式识别 2025-03-13 v1

摘要

面部动作单元(AU)对于传达心理状态和情感表达至关重要。尽管利用深度学习的自动AU检测系统已取得进展,但它们通常会过拟合于特定数据集和个体特征,限制了其跨域适用性。为了克服这些局限性,我们提出了一种用于跨域AU检测的双重自适应dropout方法,该方法增强了卷积特征图和空间token对域偏移的鲁棒性。该方法包括一个通道丢弃单元(CD-Unit)和一个token丢弃单元(TD-Unit),它们协同工作以减少通道和token级别上特定于域的噪声。CD-Unit保留了特征图中与域无关的局部模式,而TD-Unit帮助模型识别可跨域泛化的AU关系。在每层集成的辅助域分类器指导选择性省略对域敏感的特征。为防止过度的特征dropout,采用了渐进式训练策略,允许在任意模型层选择性排除敏感特征。广泛的实验评估表明,我们的方法在跨域AU检测中始终优于现有技术。注意力图的可视化也突显了与单个和组合AU相关的清晰且有意义的模式,进一步验证了该方法的有效性。

关键词

引用

@article{arxiv.2503.08974,
  title  = {Beyond Overfitting: Doubly Adaptive Dropout for Generalizable AU Detection},
  author = {Yong Li and Yi Ren and Xuesong Niu and Yi Ding and Xiu-Shen Wei and Cuntai Guan},
  journal= {arXiv preprint arXiv:2503.08974},
  year   = {2025}
}

备注

Accetped by IEEE Transactions on Affective Computing 2025. A novel method for cross-domain facial action unit detection