少与更少：使用更少基类从少量样本中更好地学习
计算机视觉与模式识别
2024-01-30 v1 人工智能
摘要
在训练数据稀缺时，通常利用在大型基数据集上预训练的特征提取器，方法要么是在“目标”数据集上微调其参数，要么是直接采用其表征作为简单分类器的特征。由于目标数据集仅包含极少量样本，微调在 few-shot learning 中效果不佳。然而，直接采用特征而不进行微调，依赖于基分布与目标分布足够相似，使得这些特征能够实现可分性与泛化性。本文研究是否可以通过在更少的基类上训练来获得针对目标数据集更好的特征，旨在为给定任务寻找更有用的基数据集。我们考虑了来自 Meta-Dataset 的八个不同领域的跨领域 few-shot 图像分类，并探讨了关于目标任务已知信息逐渐减少的多种现实场景（领域已知、任务已知和未知）。据我们所知，这是首次证明在精心挑选的基类子集上进行微调可以显著提升 few-shot learning 效果。我们的贡献是简单且直观的方法，可应用于任何 few-shot 解决方案中。我们还深入探讨了这些解决方案可能在何种条件下提升准确率。我们在 GitHub 上发布了用于复现本文所有实验的代码。https://github.com/RafLaf/Few-and-Fewer.git
引用
@article{arxiv.2401.15834,
title = {Few and Fewer: Learning Better from Few Examples Using Fewer Base Classes},
author = {Raphael Lafargue and Yassir Bendou and Bastien Pasdeloup and Jean-Philippe Diguet and Ian Reid and Vincent Gripon and Jack Valmadre},
journal= {arXiv preprint arXiv:2401.15834},
year = {2024}
}
备注
9.5 pages + bibliography and supplementary material