是否对齐：面向最佳性能的战略性多模态表征对齐

多模态学习通常依赖于跨模态表征的对齐，以实现有效的信息整合，这种方法传统上被假设为普遍有益。然而，先前的研究主要采用观察方法，检查多模态数据中自然发生的对齐情况，并探讨其与模型性能之间的相关性，却未系统地研究强制对齐不同模态表征对模型性能和表征对齐的直接影响。本文研究了显式对齐如何影响在不同模态特定信息结构下的模型性能和表征对齐。具体而言，我们引入一个可控的对比学习模块，使我们能够在训练期精确地操控对齐强度，从而探索显式对齐在何时可以提高或损害性能。我们的结果在合成数据和真实数据集上展示了在不同数据特征下的影响：显式对齐对单模态模型性能的影响与数据特征相关：最佳对齐水平取决于不同模态之间的冗余程度。我们识别出一种平衡模态特定信号和共享冗余的混合信息分布的最佳对齐强度。这项工作为在何时以及如何应用显式对齐以实现最佳单模态编码器性能提供了实用指导。