预测少样本分类器的准确率
机器学习
2020-07-09 v1 计算机视觉与模式识别
机器学习
摘要
在少样本学习的背景下，由于标记样本数量少，无法使用验证集来衡量训练好的分类器的泛化能力。在本文中，我们致力于寻找替代方案来回答以下问题：我的分类器对先前未见过的数据泛化良好吗？我们首先分析泛化性能可变性的原因。然后我们研究使用基于迁移的解决方案的情况，并考虑三种设定：i) 仅能访问少量标记样本的监督设定，ii) 能访问少量标记样本和一组未标记样本的半监督设定，以及 iii) 仅能访问未标记样本的无监督设定。对于每种设定，我们提出合理的度量，并通过经验证明其与所考虑分类器的泛化能力相关。我们还表明这些简单度量可用于在一定的置信度内预测泛化能力。我们在标准少样本视觉数据集上进行实验。
引用
@article{arxiv.2007.04238,
title = {Predicting the Accuracy of a Few-Shot Classifier},
author = {Myriam Bontonou and Louis Béthune and Vincent Gripon},
journal= {arXiv preprint arXiv:2007.04238},
year = {2020}
}