元学习评估的两个侧面：分布内与分布外
机器学习
2021-10-29 v3
摘要
我们将元学习评估分为两种设定：分布内（ID），即训练与测试任务从同一底层任务分布中独立同分布（iid）采样；以及分布外（OOD），即二者并非如此。尽管多数元学习理论及部分少样本学习（FSL）应用遵循 ID 设定，我们指出多数现有少样本分类基准实际反映的是 OOD 评估，因为它们使用不相交的训练（基）类与测试（新）类集合来生成任务。这一差异是有问题的，因为——正如我们在众多基准上所展示的——在现有 OOD 数据集上表现更好的元学习方法在 ID 设定下可能表现显著更差。此外，在 OOD 设定中，即便当前 FSL 基准看似合适，我们的研究仍凸显出两方面担忧：1）针对给定元学习方法可靠地进行模型选择；2）一致地比较不同方法的性能。为解决这些担忧，我们就如何构建 FSL 基准以允许 ID 评估及更可靠的 OOD 评估给出建议。我们的工作旨在告知元学习界 ID 与 OOD 评估的重要性与区别，以及当前基准下 OOD 评估的微妙之处。
引用
@article{arxiv.2102.11503,
title = {Two Sides of Meta-Learning Evaluation: In vs. Out of Distribution},
author = {Amrith Setlur and Oscar Li and Virginia Smith},
journal= {arXiv preprint arXiv:2102.11503},
year = {2021}
}