PictSure：预训练嵌入对零样本学习图像分类器的影响
计算机视觉与模式识别
2025-06-19 v1 人工智能
摘要
在数据稀缺的领域构建图像分类模型仍然繁琐，收集大型标记数据集往往不可行。零样本学习 (ICL) 作为一种前景范式，使少量标注的图像分类（FSIC）能够在无需梯度适应的情况下跨域泛化。然而，先前的工作在 IC-based FSIC 流程中忽视了一个关键组成部分：图像嵌入的作用。本文提出了 PictSure，一个将嵌入模型——其架构、预训练和训练动力学——置于分析中心的 ICL 框架。我们系统性地检验了不同视觉编码器类型、预训练目标和微调策略对下游 FSIC 性能的影响。我们的实验表明，训练成功与跨域性能高度取决于嵌入模型的预训练方式。因此，PictSure 在与训练分布显著不同的跨域基准测试中超越了现有的 ICL-based FSIC 模型，同时在领域内任务上保持可比的结果。代码可在 https://github.com/PictSure/pictsure-library 查找。
引用
@article{arxiv.2506.14842,
title = {PictSure: Pretraining Embeddings Matters for In-Context Learning Image Classifiers},
author = {Lukas Schiesser and Cornelius Wolff and Sophie Haas and Simon Pukrop},
journal= {arXiv preprint arXiv:2506.14842},
year = {2025}
}
备注
15 pages, 10 figures