SheafAlign：面向去中心化多模态对齐的图谱论框架

传统的多模态对齐方法假设所有模态之间都存在互相冗余，这一假设在实际分布式场景中往往不成立。我们提出 SheafAlign，一种基于图谱论的去中心化多模态对齐框架，用多个比较空间取代单一空间对齐。该方法通过图谱结构建模成对模态之间的关系，并利用去中心化对比学习目标进行训练。SheafAlign 克服了先前方法的局限性，无需所有模态之间都存在冗余，保留了共享信息和唯一信息。实验在多模态感知数据集上表明，SheafAlign 在零样例泛化、跨模态对齐和对缺失模态的鲁棒性方面均优于最新方法，通信成本降低约 50%。