神经激活式预训练：面向少样本高效适应的方法
机器学习
2023-12-06 v3 人工智能
计算机视觉与模式识别
摘要
我们提出 Neural Priming（神经激活式预训练），一种在仅有少量或没有标注样本的情况下，将大型预训练模型适应于分布偏移与下游任务的技术。给定类别名称或未标注的测试样本，Neural Priming 使模型能够回忆起预训练过程中见过的有关数据，并以这些数据为条件调整其参数，从而为测试分布做好准备。Neural Priming 可在测试时执行，即使对于像 LAION-2B 这样大的预训练数据集也适用。在回忆出的数据上执行轻量级更新，可显著提升在多种分布偏移和迁移学习基准上的准确率。具体而言，在零样本设定下，我们在 ImageNet 上看到 2.45% 的准确率提升，在标准迁移学习基准上平均有 3.81% 的准确率提升。进一步，在推理时使用 Neural Priming 适应分布偏移，我们在 ImageNetV2 上看到 1.41% 的准确率提升。这些结果证明了 Neural Priming 在应对标注数据有限与分布变化挑战中的有效性。代码见 github.com/RAIVNLab/neural-priming。
引用
@article{arxiv.2306.10191,
title = {Neural Priming for Sample-Efficient Adaptation},
author = {Matthew Wallingford and Vivek Ramanujan and Alex Fang and Aditya Kusupati and Roozbeh Mottaghi and Aniruddha Kembhavi and Ludwig Schmidt and Ali Farhadi},
journal= {arXiv preprint arXiv:2306.10191},
year = {2023}
}
备注
18 pages, 7 figures, 9 tables