面向长尾数据的多模态对比学习：MM-TS 温度与间隙调度
计算机视觉与模式识别
2026-03-10 v1 人工智能
摘要
对比学习已成为单模态和多模态框架中的基本方法。该学习范式通过将正样本对拉近，同时将负样本推远。在单模态设置（如基于图像的学习）中，先前的研究表明，这些力的强度可以通过温度参数进行控制。本文提出了多模态温度和间隙调度（MM-TS），将单模态温度调度的概念扩展到多模态对比学习中。我们的方法在训练过程中动态调整对比损失中的温度，从而在多模态设置中调制引力和排斥力。此外，认识到标准多模态数据集通常遵循不平衡的长尾分布，我们根据每个训练样本的局部分布调整温度。具体而言，为密集聚类中的样本分配更高的温度，以更好地保持其语义结构。我们进一步展示了温度调度可以有效地集成到最大间隙框架中，从而统一两种主要的多模态对比学习方法：InfoNCE 损失和最大间隙目标。我们在四个广泛使用的图像和视频语言数据集上评估了该方法，包括 Flickr30K、MSCOCO、EPIC-KITCHENS-100 和 YouCook2，显示动态温度和间隙调度在该领域内取得性能提升并达成新的最先进成果。
引用
@article{arxiv.2603.08202,
title = {MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data},
author = {Siarhei Sheludzko and Dhimitrios Duka and Bernt Schiele and Hilde Kuehne and Anna Kukleva},
journal= {arXiv preprint arXiv:2603.08202},
year = {2026}
}
备注
18 pages, 11 figures. Accepted at WACV 2026