预训练频率预测 CLIP 在真实任务上的组合泛化
机器学习
2025-02-26 v1
摘要
我们研究了 CLIP 模型在真实数据上的组合泛化成功条件，通过性能预测来探索。先前的工作表明，CLIP 在单个概念上获得线性性能增益需要指数级的预训练数据。这种样本不高效的扩展模式如果 CLIP 能系统地将新输入理解为所学习组成部分的组合，允许稀有观察映射到常见概念，则可以缓解。为了探索 CLIP 的组合泛化能力，我们筛选检索语料库中那些在预训练语料库中未出现的物体组合的样本。我们展示了 CLIP 在这些样本上的性能可以准确地从预训练中单个物体的出现频率预测。我们的发现表明，CLIP 能够分离其预训练数据中观察到的物体，并能够直接重新组合它们。此外，我们首次展示了这种能力如何随预训练数据而扩展。对于实际中的数据策划，我们的结果表明，平衡物体出现次数有助于提高泛化能力，这应当能在不增加数据量的前提下提升 CLIP 的效率和准确性。
引用
@article{arxiv.2502.18326,
title = {Pretraining Frequency Predicts Compositional Generalization of CLIP on Real-World Tasks},
author = {Thaddäus Wiedemer and Yash Sharma and Ameya Prabhu and Matthias Bethge and Wieland Brendel},
journal= {arXiv preprint arXiv:2502.18326},
year = {2025}
}
备注
NeurIPS 2024 Workshop on Compositional Learning: Perspectives, Methods, and Paths Forward