用于跨域面部表情识别的自适应全局-局部表示学习与选择
计算机视觉与模式识别
2024-01-23 v1 人工智能
摘要
由于不同域之间的分布变化，域偏移对跨域面部表情识别 (CD-FER) 构成了重大挑战。当前的工作主要通过全局特征适应来学习域不变特征，而忽略了局部特征的可迁移性。此外，这些方法在目标数据集上的训练期间缺乏判别性监督，导致目标域中的特征表示退化。为了解决这些局限性，我们提出了一种自适应全局-局部表示学习与选择 (AGLRLS) 框架。该框架结合了全局-局部对抗适应和语义感知伪标签生成，以在训练期间增强域不变和判别性特征的学习。同时，引入了全局-局部预测一致性学习以改善推理期间的分类结果。具体而言，该框架由独立学习域不变全局和局部特征的独立全局-局部对抗学习模块组成。我们还设计了一个语义感知伪标签生成模块，该模块基于全局和局部特征计算语义标签。此外，采用了一种新颖的动态阈值策略，通过利用全局和局部特征的独立预测来学习最优阈值，确保过滤掉不可靠的伪标签同时保留可靠的伪标签。这些标签以端到端的方式通过对抗学习过程用于模型优化。在推理期间，开发了一个全局-局部预测一致性模块，以从多个预测中自动学习最优结果。我们基于公平的评估基准进行了全面的实验和分析。结果表明，所提出的框架以显著优势优于当前的竞争方法。
引用
@article{arxiv.2401.11085,
title = {Adaptive Global-Local Representation Learning and Selection for Cross-Domain Facial Expression Recognition},
author = {Yuefang Gao and Yuhao Xie and Zeke Zexi Hu and Tianshui Chen and Liang Lin},
journal= {arXiv preprint arXiv:2401.11085},
year = {2024}
}