通过局部失真度量预测深度学习中的泛化能力
机器学习
2020-12-17 v2 机器学习
摘要
我们通过借助最初在逼近论与信息论中发展的复杂度度量来研究深度学习中的泛化。尽管这些概念因深度学习的高维与数据定义特性而面临挑战，我们表明当逐层应用于深度提取特征时，诸如 PCA、GMMs 和 SVMs 这类简单的向量量化方法抓住了其实质，由此产生与泛化性能高度相关的、相对廉价的复杂度度量。我们在 2020 NeurIPS PGDL 挑战赛中讨论了我们的结果。
引用
@article{arxiv.2012.06969,
title = {Predicting Generalization in Deep Learning via Local Measures of Distortion},
author = {Abhejit Rajagopal and Vamshi C. Madala and Shivkumar Chandrasekaran and Peder E. Z. Larson},
journal= {arXiv preprint arXiv:2012.06969},
year = {2020}
}
备注
Added preprint footnote