预训练图像分类器少样本自适应的缩放定律
机器学习
2021-10-20 v2 人工智能
计算机视觉与模式识别
摘要
神经缩放定律的实证研究是一个迅速发展的领域，对机器学习的未来具有重要意义，尤其是考虑到 GPT-3、CLIP 和 DALL-e 等大规模预训练模型近期取得的突破。随着数据、算力和模型规模等资源增加，准确预测神经网络性能，相较于在固定规模基准上对传统固定规模模型进行逐点比较，提供了对不同方法在多种规模下更全面的评估，并且最重要的是，能够聚焦于缩放最佳、从而在未来最具前景的方法。在本工作中，我们考虑图像分类中少样本学习的挑战性问题，特别是当少样本阶段的目标数据分布与源（训练）数据分布不同、即包含训练时未见过的新图像类别时。我们当前的主要目标是研究预训练数据量如何影响标准图像分类器的少样本泛化性能。我们的关键观察是：(1) 随着训练集规模增大，此类性能提升可由幂律（线性双对数图）很好地近似；(2) 这适用于目标数据来自与训练数据相同或不同域（即新类别）两种情况；(3) 新类别上的少样本性能比先前见过类别上的标准分类性能收敛更快。我们的发现为规模与泛化之间的关系提供了新见解。
引用
@article{arxiv.2110.06990,
title = {Scaling Laws for the Few-Shot Adaptation of Pre-trained Image Classifiers},
author = {Gabriele Prato and Simon Guiroy and Ethan Caballero and Irina Rish and Sarath Chandar},
journal= {arXiv preprint arXiv:2110.06990},
year = {2021}
}