RE-TRIANGLE：TRIANGLE在检索中能否实现超越余弦相似度的多模态对齐？
信息检索
2026-05-28 v1 人工智能
计算机视觉与模式识别
摘要
多模态对齐对于弥合信息检索中的语义鸿沟至关重要。然而，传统的成对策略存在一个几何盲点：虽然它们对齐了锚定模态(例如文本)与其他模态，但缺乏强制外围模态(例如视频和音频)之间相互一致性的约束。TRIANGLE框架通过最小化超球面上模态三元组的面积来强制实现整体对齐，从而解决了这个问题。在这项可重复性研究中，我们验证了该几何目标在检索任务中的鲁棒性。我们确认TRIANGLE在零样本设置下优于成对基线，Recall@1提升高达+8.7个百分点，但收益依赖于领域。然而，我们未能复现所报告的自学习结果。使用合成玩具数据集的分析将其归因于联合优化几何对齐与数据-文本匹配(DTM)损失时的不稳定性。此外，我们发现余弦正则化主要稳定了文本到视频的检索，而使用领域监督进行微调放大了几何优势，但降低了跨数据集的泛化能力。我们的发现支持了几何对齐的有效性，同时强调了关键的优化敏感性。代码见 https://github.com/ARIJIT00171/RE-TRIANGLE。
引用
@article{arxiv.2605.27436,
title = {RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?},
author = {Arijit Ghosh and Aritra Bandyopadhyay and Chiranjeev Bindra and Jingfen Qiao},
journal= {arXiv preprint arXiv:2605.27436},
year = {2026}
}