MuSACo：基于共训练的多模态主体特定选择与适应表达识别方法

个性化表达识别（ER）涉及针对特定主体数据调整机器学习模型，以提高对表达的识别 accuracy，这些表达在不同主体之间存在显著的差异性。主体特定的 ER 能够从多源域适应（MSDA）方法中获得显著益处，其中每个域对应于特定主体，以提高模型的准确性和鲁棒性。尽管已取得鼎舌结果，但最新的 MSDA 方法往往忽视多模态信息或将多个来源混合为单个域，这限制了主体的多样性，无法明确捕捉独特的主体特定特征。为解决这些限制，我们提出了 MuSACo，这是一个基于共训练的用于 ER 的多模态主体特定选择和适应方法。它利用跨多个模态和多个来源域的互补信息进行主体特定适应。这使得 MuSACo 在数字健康领域的情感计算应用中尤为 relevant，例如用于疼痛或压力的患者特定评估，其中主体层面的细微差异至关重要。MuSACo 选择与目标相关的来源主体，并使用主导模态生成伪标签，以进行类别感知学习，同时结合类别不可知损失以从置信度较低的目标样本中学习。最后，来自每个模态的来源特征进行对齐，而只有置信度较高的目标特征才被组合。在具有挑战性的多模态 ER 数据集 BioVid、StressID 和 BAH 上的实验结果表明，MuSACo 在 UDA（混合）和最新的 MSDA 方法方面均取得了优异性能。