训练-验证划分在元学习中有多重要？
机器学习
2021-02-11 v2 机器学习
摘要
元学习旨在从多个已有任务中学习一个“先验”，从而在新任务上实现快速适应。元学习中的常见做法是执行训练-验证划分（\emph{train-val 方法}），即先验在数据的一个划分上适应任务，所得预测器在另一个划分上评估。尽管该方法盛行，但训练-验证划分的重要性在理论上和实践中都未被充分理解，特别是与更直接的 \emph{train-train 方法}（使用所有逐任务数据同时进行训练和评估）相比。我们针对线性质心元学习问题，提供了关于训练-验证划分是否以及何时有益的详细理论研究。在不可知情形下，我们表明 train-val 方法的期望损失在元测试的最优先验处最小化，而一般而言若无对数据的结构假设，train-train 方法并非如此。相反，在数据由线性模型生成的可实现情形下，我们表明 train-val 和 train-train 损失在期望上都在最优先验处最小化。进一步，或许令人惊讶地，我们的主要结果表明，即便两种方法的正则化参数和划分比例都调到最优，train-train 方法在该可实现情形下实现了\emph{严格更好}的超额损失。我们的结果凸显了样本划分未必总是可取的，尤其在数据可由模型实现时。我们通过实验验证理论，表明在模拟和真实元学习任务上 train-train 方法确实能优于 train-val 方法。
引用
@article{arxiv.2010.05843,
title = {How Important is the Train-Validation Split in Meta-Learning?},
author = {Yu Bai and Minshuo Chen and Pan Zhou and Tuo Zhao and Jason D. Lee and Sham Kakade and Huan Wang and Caiming Xiong},
journal= {arXiv preprint arXiv:2010.05843},
year = {2021}
}