神经网络的 bulk-boundary 分解
机器学习
2025-11-05 v1 无序系统与神经网络
高能物理 - 唯象学
摘要
我们提出了 bulk-boundary 分解作为理解深度神经网络训练动力学的新框架。从随机梯度下降公式出发，我们展示了拉格朗日函数可以重新组织为与数据无关的 bulk 项和数据相关的 boundary 项。bulk 捕捉了由网络架构和激活函数决定的固有动力学，而 boundary 则反映了来自输入和输出层训练样本的随机相互作用。该分解暴露了深度网络所固有的局部均匀结构。作为一种自然的延伸，我们基于这一分解开发了神经动力学的场论表述。
引用
@article{arxiv.2511.02003,
title = {Bulk-boundary decomposition of neural networks},
author = {Donghee Lee and Hye-Sung Lee and Jaeok Yi},
journal= {arXiv preprint arXiv:2511.02003},
year = {2025}
}
备注
6 pages, 2 figures