COMPASS：基于代理令牌和共享空间的完整多模态融合用于通用感知
计算机视觉与模式识别
2026-04-03 v1
摘要
缺失模态仍是多模态感知的主要挑战，因为大多数现有方法通过删除缺失分支、使用子集特定融合或重建缺失特征来适应观察到的子集。结果导致融合头接收到的输入结构与训练期间看到的不同，导致不完整的融合和降低的跨模态交互。我们提出COMPASS，一种建立在融合完整性原则之上的缺失模态融合框架：融合头始终接收固定N槽多模态输入，每个模态槽一个令牌。对于每个缺失模态，COMPASS从观察到的模态中合成一个针对目标的代理令牌，使用共享潜在空间中的成对source-to-target生成器，并聚合为单个替换令牌。为使这些代理具备表示兼容性和任务信息性，我们结合代理对齐、共享空间正则化和每个代理判别性监督。在XRF55、MM-Fi和OctoNet上进行的实验表明，在多样化的单一和多模态缺失设置下，COMPASS在大多数情景下均优于先前方法。我们的结果表明，保持模态完整的融合界面是一个简单且有效的设计原则，可实现稳健的多模态感知。
引用
@article{arxiv.2604.02056,
title = {COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing},
author = {Hao Wang and Yanyu Qian and Pengcheng Weng and Zixuan Xia and William Dan and Yangxin Xu and Fei Wang},
journal= {arXiv preprint arXiv:2604.02056},
year = {2026}
}