M3BAT：基于多分支对抗训练的多模态移动感知无监督域适应

多年来，多模态移动感知被广泛用于关于健康与福祉、行为和情境的推断。然而，阻碍此类模型在真实世界场景中广泛部署的一个重大挑战是分布偏移问题。这是训练集中数据的分布不同于真实世界（即部署环境）中数据分布的现象。尽管该问题在计算机视觉和自然语言处理中已被广泛探索，且尽管移动感知领域的先前研究简要探讨了这一问题，但当前的工作主要集中于处理单一模态数据（如音频或加速度计读数）的模型，因此，在处理多模态传感器数据时，关于无监督域适应的研究很少。为了填补这一空白，我们对域对抗神经网络（DANN）进行了广泛实验，表明它们能有效处理多模态传感器数据中的分布偏移。此外，我们提出了一种对 DANN 的新改进，称为 M3BAT，即基于多分支对抗训练的多模态移动感知无监督域适应，以在域适应过程中利用多个分支来考虑传感器数据的多模态性。通过在两个多模态移动感知数据集、三个推断任务和 14 个源-目标域对（包括回归和分类）上进行的广泛实验，我们证明了我们的方法在未见域上表现有效。与将在源域中训练的模型直接部署到目标域相比，该模型在分类任务上的 AUC（受试者工作特征曲线下面积）性能提升了高达 12%，在回归任务上的 MAE（平均绝对误差）提升了高达 0.13。