Meta-free few-shot learning via representation learning with weight averaging
机器学习
2022-05-03 v2 计算机视觉与模式识别
摘要
近期关于使用迁移学习进行小样本分类的研究对情景式元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的替代方案，但它们仅限于小样本分类。此外，除了某些贝叶斯情景学习算法外，很少有人关注从少量样本中开发具有良好校准不确定性的概率模型。为解决上述问题，我们提出了一种新的迁移学习方法，以获得用于小样本回归和分类的准确且可靠的模型。由此产生的方法不需要情景式元学习，被称为无元表示学习（MFRL）。MFRL 首先找到在元测试任务上泛化良好的低秩表示。给定学习到的表示，使用少量样本对概率线性模型进行微调，以获得具有良好校准不确定性的模型。所提出的方法不仅在广泛的小样本学习基准数据集上达到了最高准确率，而且正确地量化了预测不确定性。此外，权重平均和温度缩放对于在具有广泛学习范式和模型架构的现有元学习算法中提高小样本学习的准确性和可靠性是有效的。
引用
@article{arxiv.2204.12466,
title = {Meta-free few-shot learning via representation learning with weight averaging},
author = {Kuilin Chen and Chi-Guhn Lee},
journal= {arXiv preprint arXiv:2204.12466},
year = {2022}
}