对比语言-图像预训练的嵌入几何
机器学习
2024-09-23 v1 计算与语言
计算机视觉与模式识别
摘要
自 CLIP 发表以来，使用 InfoNCE 损失进行对比预训练的方法在桥接两种或多种模态方面得到了广泛普及。尽管被广泛采用，CLIP 关于 L2 归一化和余弦相似度 logit 的原始设计选择却鲜少被重新审视。我们系统地实验了用于语言-图像预训练的替代几何和 softmax logits，并发现具有直观欧几里得几何的变体，即 Euclidean CLIP (EuCLIP)，能够匹配或超越 CLIP 的性能，并且在支持层级关系方面至少与更复杂的双曲替代方案一样好。
引用
@article{arxiv.2409.13079,
title = {Embedding Geometries of Contrastive Language-Image Pre-Training},
author = {Jason Chuan-Chih Chou and Nahid Alam},
journal= {arXiv preprint arXiv:2409.13079},
year = {2024}
}
备注
ECCV 2024 - Beyond Euclidean Workshop