差分信息驱动的多模态对比学习样本选择加速
计算机视觉与模式识别
2025-07-18 v1 机器学习
摘要
对比学习基于的多模态模型取得了惊人的成功，这在很大程度上归功于训练在不断增大的数据集上，而计算成本也很高。作为一种高效方法的样本选择作为加速训练过程的重要方向。然而，最近的样本选择进展要么主要依赖 oracle 模型离线选择高质量 core set，这在 cold-start 场景中受限，要么focus 在基于实时模型预测的在线选择，这没有充分或有效地考虑噪声对应关系。为了解决这一困境，我们提出一种新颖的差分信息样本选择 (DISSect) 方法，该方法准确且高效地判别噪声对应关系以实现训练加速。具体而言，我们重新思考了噪声对应关系对对比学习的影响，并提出当前模型预测相关性与历史模型预测相关性之间的差异对于特征样本质量更具信息性。基于此，我们构建了一个 robust 基于差分的样本选择方法并分析其理论见解。在三个基准数据集和各种下游任务上的大量实验表明，DISSect 在当前 state-of-the-art 方法之上 consistently 优于。源代码可在 https://github.com/MediaBrain-SJTU/DISSect 获取。
引用
@article{arxiv.2507.12998,
title = {Differential-informed Sample Selection Accelerates Multimodal Contrastive Learning},
author = {Zihua Zhao and Feng Hong and Mengxi Chen and Pengyi Chen and Benyuan Liu and Jiangchao Yao and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2507.12998},
year = {2025}
}