通过秩概念理解深度学习

尽管深度学习在科学和工业中的极致受欢迎，其正式理解仍有限。本论文提出以秩概念为核心，发展深度学习理论，聚焦于泛化与表达的根本方面。特别是，我们证明梯度基础训练可对多种神经网络架构诱导出对低秩的隐式正则化，并经验上表明这一现象可能有助于解释自然数据（如音频、图像和文本）上的泛化。随后，我们刻画图神经网络建模相互作用的能力，采用一种秩概念，用于量化量子物理中的纠缠。我们理论的核心工具是神经网络与张量分解之间的联系。我们呈现了实践意义，包括用于设计显式正则化方案和数据预处理算法的方案。