ADAPT：面向缺失模态下生理变化检测的多模态学习

多模态近期在医学领域引起了广泛关注，在该领域中，成像或视频模态可以与生物医学信号或健康记录相融合。然而，仍有两个挑战：平衡各模态的贡献，尤其是在可用数据量有限的情况下；以及处理缺失模态。为了解决这两个问题，本文提出了锚定多模态生理 Transformer (ADAPT)，这是一个多模态、可扩展的框架，包含两个关键组件：(i) 在最强、最丰富的模态（称为锚点）的空间中对齐所有模态，以学习联合嵌入空间；(ii) 掩码多模态 Transformer，在处理缺失模态的同时利用模态间和模态内的相关性。我们专注于检测两个真实场景中的生理变化：由特定触发因素诱发的个体压力，以及由 $g$ �诱发的战斗机飞行员意识丧失。我们通过在这两个任务的两个数据集上进行大量实验，验证了 ADAPT 的泛化能力，在此过程中我们创造了新的 SOTA，同时证明了它在各种模态场景下的鲁棒性及其在实际应用中的巨大潜力。