度量空间大小与神经网络中的泛化
机器学习
2023-05-10 v1 几何拓扑
机器学习
摘要
深度学习模型在众多应用中取得了显著成功，但其内部工作机制仍难以捉摸。本工作的目的是通过一种称为大小（magnitude）的新颖拓扑不变量来量化深度神经网络的学习过程。大小是一种等距不变量；其性质是当前活跃的研究领域，因为它编码了度量空间的许多已知不变量。我们使用大小来研究神经网络的内部表示，并提出了一种确定其泛化能力的新方法。此外，我们在理论上将大小维度与泛化误差联系起来，并通过实验证明所提框架可以作为后者的良好指示量。
引用
@article{arxiv.2305.05611,
title = {Metric Space Magnitude and Generalisation in Neural Networks},
author = {Rayna Andreeva and Katharina Limbeck and Bastian Rieck and Rik Sarkar},
journal= {arXiv preprint arXiv:2305.05611},
year = {2023}
}