数据是否在深度学习中诱导了容量控制？
机器学习
2022-06-23 v3 机器学习
摘要
我们表明，典型分类数据集的输入相关矩阵具有如下特征谱：在急剧初始下降后，大量小特征值在指数级大的范围内均匀分布。这一结构在对该数据训练的网络中得以映射：我们表明Hessian矩阵与Fisher信息矩阵（FIM）具有在指数级大范围内均匀分布的特征值。我们称此类特征谱为“sloppy（松散）”，因为对应于小特征值的权重集合可被大幅改变而不影响损失。在非sloppy输入的非典型数据集上训练的网络不具备这些特性，且在此类数据集上训练的深度网络泛化性差。受此启发，我们研究sloppy输入有助于深度网络泛化的假设。我们表明，若Hessian为sloppy，我们可解析计算非平凡的PAC-Bayes泛化界。通过利用我们的经验观察——训练主要发生于FIM的非sloppy子空间——我们发展了依赖于数据分布的PAC-Bayes先验，借助数值优化得到准确的泛化界。
关键词
引用
@article{arxiv.2110.14163,
title = {Does the Data Induce Capacity Control in Deep Learning?},
author = {Rubing Yang and Jialin Mao and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2110.14163},
year = {2022}
}