用于语言-图像预训练的Sigmoid损失
计算机视觉与模式识别
2023-09-28 v4 人工智能
摘要
我们提出了一种用于语言-图像预训练(SigLIP)的简单成对Sigmoid损失。与采用softmax归一化的标准对比学习不同，sigmoid损失仅作用于图像-文本对，且不需要对成对相似度进行全局视图以归一化。sigmoid损失同时允许进一步扩展批量大小，同时在较小批量大小下也表现更好。结合Locked-image Tuning，仅用四块TPUv4芯片，我们在两天内训练出达到84.5% ImageNet零样本精度的SigLiT模型。将批量大小与损失解耦进一步使我们能够研究样本数与对数以及负正比的影响。最后，我们将批量大小推向极致，高达一百万，并发现增大批量大小的好处迅速减弱，32k的更合理批量大小已足够。我们在 https://github.com/google-research/big_vision 发布了模型，并希望我们的研究激励进一步探索以提升语言-图像预训练的质量与效率。
引用
@article{arxiv.2303.15343,
title = {Sigmoid Loss for Language Image Pre-Training},
author = {Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},
journal= {arXiv preprint arXiv:2303.15343},
year = {2023}
}
备注
ICCV'23 Oral. arXiv v2: fix typo in pseudocode; v3: clarify t vs t' init; v4: add SigLIP Base, Large, Shape-Optimized 400M results. Models released at: https://github.com/google-research/big_vision. Xiaohua and Lucas contributed equally