用本福特定律重新思考神经网络
机器学习
2021-10-25 v4
摘要
本福特定律（BL）或称有效数字定律定义了数据样本中数值首位数字的概率分布。该定律在许多自然发生的数据集中被观察到。它可被视为给定分布自然性的度量，并应用于异常与欺诈检测等领域。本工作中，我们探讨如下问题：神经网络参数的分布是否与网络的泛化能力相关？为此，我们首先定义一种度量MLH（模型焓），用于衡量一组数值与本福特定律的接近程度，并经验性地表明它是验证准确率的强预测因子。其次，我们将MLH用作早停的验证准确率替代方案，从而免去对验证集的需求。我们提供的实验证据表明，即便事先已知验证集的最优大小，其所达到的峰值测试准确率仍低于完全不使用验证集的情形。最后，我们探究了BL与自由能原理及热力学第一定律的联系，表明MLH是学习系统内能的一个组分，并将优化类比于最小化总能量以达到平衡。
引用
@article{arxiv.2102.03313,
title = {Rethinking Neural Networks With Benford's Law},
author = {Surya Kant Sahu and Abhinav Java and Arshad Shaikh and Yannic Kilcher},
journal= {arXiv preprint arXiv:2102.03313},
year = {2021}
}
备注
Short version accepted to NeurIPS 2021 ML4PS Workshop