走向对神经网络的现象学理解：数据
机器学习
2023-05-03 v1 计算物理
摘要
建立在集体变量之上的神经网络（NN）理论将为科学家提供工具，以更好地理解学习过程各个阶段的情况。在这项工作中，我们引入了两个这样的变量：基于传入模型的训练数据所构建的经验神经正切核（NTK）的熵与迹。我们在这些变量的背景下对 NN 性能进行实证分析，发现起始熵、NTK 的迹与训练完成后所计算的模型泛化能力之间存在相关性。该框架随后被应用于 NN 训练的最优数据选择问题。为此，采用随机网络蒸馏（RND）作为选择训练数据的手段，并与数据的随机选择进行比较。结果表明，RND 所选的数据集不仅能够超越随机选择，而且与 RND 数据集相关的集体变量也大于随机所选集合的集体变量。本研究的结果为基于这一现象学框架驱动 NN 训练数据选择提供了稳定的基础。
引用
@article{arxiv.2305.00995,
title = {Towards a Phenomenological Understanding of Neural Networks: Data},
author = {Samuel Tovey and Sven Krippendorf and Konstantin Nikolaou and Christian Holm},
journal= {arXiv preprint arXiv:2305.00995},
year = {2023}
}
备注
13 pages, 7 figures