神经网络的态密度：参数空间中学习的深入探索
统计力学
2024-09-30 v1
摘要
神经网络的学习严重依赖于与给定任务相关的损失景观的复杂几何结构。传统上，大多数研究集中在寻找使损失最小化的特定权重配置。在这项源于机器学习与理论软物质物理交叉融合的工作中，我们引入了一种新颖且计算高效的方法，以检验所有损失值上的权重空间。采用 Wang-Landau 增强采样算法，我们探索了神经网络的态密度——即产生给定损失值的网络参数配置数量——并分析了它如何依赖于训练集的特定特征。利用真实世界数据与合成数据，我们定量阐明了数据结构与不同规模及深度的二态网络网络态密度之间的关系。
引用
@article{arxiv.2409.18683,
title = {Density of states in neural networks: an in-depth exploration of learning in parameter space},
author = {Margherita Mele and Roberto Menichetti and Alessandro Ingrosso and Raffaello Potestio},
journal= {arXiv preprint arXiv:2409.18683},
year = {2024}
}