多模态数据对齐的优化算法

在数据时代，多种数据类型的集成，称为多模态性，已成为研究社区的关键关注领域。这一关注力受推动其目标是发展能够作为可适应推理引擎的前沿多模态模型，能够跨越广泛的模态和领域。尽管付出了浓厚的开发努力，但在单个统一的潜在空间中最佳地表示不同形式数据这一挑战——对于实现有效的多模态推理至关重要的关键步骤——尚未完全得到解决。为填补这一差距，我们引入了 AlignXpert，这是一种受 Kernel CCA 启发的优化算法，用于最大化 N 种模态之间的相似性，同时施加其他约束。本工作展示了在 various reasoning 任务（如检索和分类）下提高数据表示的影响，凸显了数据表示的重要性。