基于中性目标数据的解缠分离源自由面部表情识别

从视频中进行面部表情识别（Facial Expression Recognition, FER）是诸多应用领域的关键任务，如人机交互和健康诊断监测（例如，评估疼痛和抑郁）。除了识别细微情绪或健康状态的挑战外，深度FER模型的有效性常被受试者之间表情变异性的显著差异所限制。源自由（无监督）域适应（Source-free Domain Adaptation, SFDA）方法可用于仅使用无标签目标域数据来适应预训练的源模型，从而避免数据隐私、存储和传输问题。通常情况下，SFDA方法适应的目标域数据集对应整个人群，假设其包含所有识别类的数据。然而，对于医疗保健领域的FER而言，收集此类全面的目标数据可能困难或根本不可能。在许多实际场景中，可能可以在部署前从目标受试者那里收集一段仅显示中性表情的中性控制视频。可以利用这些视频来适应模型，以更好地处理受试者之间表情的变异性。本文提出了Disentangled SFDA（DSFDA）方法，以解决仅凭缺失目标表情数据来适应模型的挑战。DSFDA利用中性目标控制视频中的数据，对目标数据进行端到端生成和适应，生成缺失的非中性表情数据。该方法学习如何分离表情和身份相关的特征，同时生成目标受试者的缺失非中性表情数据，从而提高模型准确率。此外，我们的自监督策略通过重建保持相同身份和源表情的目标图像来提高模型适应度。