无需训练，尽管收获：自监督梯度提升深度冻结表示
计算机视觉与模式识别
2024-11-07 v2 计算与语言
机器学习
摘要
本文提出 FUNGI 方法，即 Features from UNsupervised GradIents（来自无监督梯度的特征），用于通过利用自监督梯度来增强变换器编码器的特征。我们的方法简单：给定任意预训练模型，首先计算每个输入的各种自监督目标的梯度。这些梯度被投影到低维空间，然后与模型的输出嵌入拼接。 resulting features 在来自视觉、5 个来自自然语言处理和2 个来自音频的 11 个数据集上进行 k-最近邻分类评估。跨越 various sizes and pretraining strategies 的 backbone，FUNGI 特征相对于嵌入提供持续的性能提升。我们还展示了使用 FUNGI 特征可以获益于线性分类、聚类和图像检索，并且显著改进了预训练模型的基于检索的情境理解能力，例如在语义分割上相对于 DINO 提升 17%——而无需任何训练。
引用
@article{arxiv.2407.10964,
title = {No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations},
author = {Walter Simoncini and Spyros Gidaris and Andrei Bursuc and Yuki M. Asano},
journal= {arXiv preprint arXiv:2407.10964},
year = {2024}
}
备注
NeurIPS 2024. Code available at https://github.com/WalterSimoncini/fungivision