LCDB 1.1：学习曲线比此前所想的更不well-behaved
机器学习
2025-10-27 v2 人工智能
摘要
样本级学习曲线绘制了性能随训练集大小的变化。它们对于研究比例定律、加速超参数调优和模型选择非常有用。学习曲线通常被假设为well-behaved：单调（即随数据量增加而改善）且凸形。通过构建学习曲线数据库 1.1 (LCDB 1.1)，这是一个包含更高分辨率学习曲线的大型数据库，涵盖更现代的学习器 (CatBoost、TabNet、RealMLP 和 TabPFN)，我们展示了学习曲线不太可能像此前所想的那样well-behaved。使用统计上严谨的方法，我们观察到约 15% 的学习曲线出现显著的不well-behavior，这几乎是之前估计值的两倍。我们还识别了哪些学习器是问题的根源，并表明特定学习器比其他学习器更不well-behaved。此外，我们演示了不同的特征缩放很少解决不well-behavior。我们评估了不well-behavior 对下游任务的影响，如学习曲线拟合和模型选择，发现其对这些任务提出了显著挑战，凸显了 LCDB 1.1 作为面向未来研究的具有挑战性基准的相关性和潜力。
关键词
引用
@article{arxiv.2505.15657,
title = {LCDB 1.1: A Database Illustrating Learning Curves Are More Ill-Behaved Than Previously Thought},
author = {Cheng Yan and Felix Mohr and Tom Viering},
journal= {arXiv preprint arXiv:2505.15657},
year = {2025}
}
备注
Accepted at NeurIPS 2025 Datasets & Benchmarks Track