神经网络权重之间的距离具有意义
机器学习
2021-02-03 v1
摘要
在神经网络应用中，我们需要依据问题复杂度和数据集规模选择合适的模型。为分析网络容量，对网络所学信息进行量化是必要的。本文证明，不同训练阶段神经网络权重之间的距离可直接用于估计网络在训练过程中积累的信息。实验结果验证了该方法的效用。文末给出了一个与标签损坏相关的该方法应用示例。
引用
@article{arxiv.2102.00396,
title = {The distance between the weights of the neural network is meaningful},
author = {Liqun Yang and Yijun Yang and Yao Wang and Zhenyu Yang and Wei Zeng},
journal= {arXiv preprint arXiv:2102.00396},
year = {2021}
}
备注
10 pages, 13 figure