训练所揭示的神经网络复杂性
机器学习
2021-11-01 v2 机器学习
摘要
本研究探讨了善意训练假设（BTH），该假设认为深度神经网络（NN）所学习函数的复杂性可由其训练动态推导得出。我们的分析通过将 NN 在输入空间不同区域的 Lipschitz 常数与随机训练过程的行为相关联，为 BTH 提供了证据。我们首先观察到，靠近训练数据的 Lipschitz 常数会影响参数轨迹的多个方面：更复杂的网络具有更长的轨迹、更大的方差，且常偏离初始化更远。接着我们表明，第一层偏置训练更为平稳（即缓慢且变化小）的 NN，即便在远离任何训练点的输入空间区域，其复杂性也是有界的。最后，我们发现带有 Dropout 的平稳训练意味着一个训练与数据相关的泛化界，该界随参数数量呈多对数增长。总体而言，我们的结果支持了如下直觉：良好的训练行为可作为朝向良好泛化的有用偏置。
引用
@article{arxiv.2106.04186,
title = {What training reveals about neural network complexity},
author = {Andreas Loukas and Marinos Poiitis and Stefanie Jegelka},
journal= {arXiv preprint arXiv:2106.04186},
year = {2021}
}
备注
Published at NeurIPS 2021