学习容量：模型有效维数的一种度量
机器学习
2024-10-22 v2 信息论
math.IT
机器学习
摘要
我们利用热力学与推断之间的形式对应（其中样本数可视为逆温度）来研究称为“学习容量”的量，它是模型有效维数的一种度量。我们表明学习容量是一个有用的复杂度概念，因为（a）它与测试损失高度相关，且对典型数据集上训练的许多深度网络而言仅为参数数量的极小部分；（b）它依赖于训练所用样本数；（c）它在数值上与由 PAC-Bayes 泛化界获得的容量概念一致；（d）测试损失作为学习容量的函数不呈现双下降。我们展示学习容量在极小和极大样本量下均饱和；刻画这两类 regime 间转变的阈值为何时应获取更多数据、何时应寻找不同架构以提升性能提供了指导。我们展示了学习容量如何用于对随机森林和最近邻分类器等非参数模型提供容量的量化概念。
引用
@article{arxiv.2305.17332,
title = {Learning Capacity: A Measure of the Effective Dimensionality of a Model},
author = {Daiwei Chen and Wei-Kai Chang and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2305.17332},
year = {2024}
}