网络碎片化是否是有用的复杂度度量？
机器学习
2024-11-08 v1
摘要
已观察到深度神经网络分类器的输入空间可出现“碎片化”现象，即模型函数在遍历输入空间时迅速改变类别。这种碎片化的严重程度倾向于遵循双下降曲线，在插值区实现最大。我们在图像分类的背景下研究此现象，并询问碎片化是否可以预测泛化性能。使用基于碎片化的复杂度度量，我们在 PGDL (Predicting Generalization in Deep Learning) 基准测试中取得了良好性能。此外，我们报告了与碎片化相关的新观察，包括：(i) 碎片化不仅限于输入空间，还存在于隐藏表示中；(ii) 碎片化遵循验证误差在训练期间的趋势；(iii) 碎片化并非权重范数增加的直接结果。综合来看，这表明在研究深度神经网络的泛化能力时，碎片化是一个值得进一步调查的现象。
引用
@article{arxiv.2411.04695,
title = {Is network fragmentation a useful complexity measure?},
author = {Coenraad Mouton and Randle Rabe and Daniël G. Haasbroek and Marthinus W. Theunissen and Hermanus L. Potgieter and Marelie H. Davel},
journal= {arXiv preprint arXiv:2411.04695},
year = {2024}
}