学习曲线的形状：一篇综述

学习曲线揭示了学习器的泛化性能对训练集大小的依赖关系。这一重要工具可用于模型选择、预测更多训练数据的效果，以及降低模型训练与超参数调优的计算复杂度。本综述追溯了该术语的起源，给出了学习曲线的形式化定义，并简要介绍了诸如其估计等基础知识。我们的主要贡献是对有关学习曲线形状的文献进行全面概述。我们讨论了支持形状良好曲线（常呈幂律或指数形状）的经验与理论证据。我们考量了高斯过程的学习曲线、其可能展现的复杂形状以及影响它们的因素。我们特别指出表现不良的学习曲线实例，即随训练数据增多学习效果反而变差。最后，我们指出了若干值得更深入经验与理论探究的开放问题。总而言之，我们的综述强调学习曲线出奇地多样，且无法确立通用模型。