NeuCLIP：基于神经归一化器优化的大规模 CLIP 高效训练
机器学习
2026-03-05 v2 计算机视觉与模式识别
摘要
在对比损失中准确估计归一化项（也称为配分函数）是训练对比语言-图像预训练（CLIP）模型的核心挑战。传统方法依赖大批量进行近似，需要大量计算资源。为了缓解这一问题，先前的工作引入了每样本归一化器估计器，这些估计器在每个 epoch 以分块坐标方式更新，以跟踪已更新的编码器。然而，这种方案产生的优化误差与数据集大小和批量大小之比成正比，限制了对大型数据集或小批量的有效性。为了克服这一限制，我们提出了 NeuCLIP，这是一个基于两个关键思想的新颖且优雅的优化框架： 通过凸分析将每个样本的对比损失重新表述为带有表示其对数归一化器的辅助变量的最小化问题； 通过变分分析将对 个辅助变量（其中 为数据集大小）的最小化转化为对一个预测对数归一化器的紧凑神经网络的极小化。我们设计了一种交替优化算法，联合训练 CLIP 模型和辅助网络。通过为辅助网络采用定制的架构和加速技术，NeuCLIP 实现了更准确的归一化器估计，从而获得了优于以往方法的性能。在涵盖数百万到数十亿样本数据集的大规模 CLIP 训练上的广泛实验表明，NeuCLIP 优于以往的方法。代码可在 https://github.com/Optimization-AI/NeuCLIP 获取。
引用
@article{arxiv.2511.08417,
title = {NeuCLIP: Efficient Large-Scale CLIP Training with Neural Normalizer Optimization},
author = {Xiyuan Wei and Chih-Jen Lin and Tianbao Yang},
journal= {arXiv preprint arXiv:2511.08417},
year = {2026}
}
备注
Accepted to 40th International Conference on Learning Representations. 32 pages, 5 figures