浅层神经网络近似驻点的统计保证
机器学习
2025-12-08 v2 统计理论
统计理论
摘要
由于神经网络的统计保证通常局限于复杂目标函数的全局最优,尚不清楚这些理论能否解释神经网络流水线实际输出的性能。因此,本文旨在使统计理论更贴近实践。我们为浅层线性神经网络建立了统计保证,其在对数因子范围内与全局最优一致,但适用于驻点及其邻近点。这些结果支持了神经网络从数学角度未必需要全局优化的普遍观念。随后,在假设驻点网络与目标网络的第一层权重矩阵近乎相同的条件下,我们将统计保证推广到浅层 ReLU 神经网络。更一般地,尽管目前局限于浅层神经网络,我们的理论在用数学语言刻画神经网络实际性质方面迈出了重要一步。
引用
@article{arxiv.2205.04491,
title = {Statistical Guarantees for Approximate Stationary Points of Shallow Neural Networks},
author = {Mahsa Taheri and Fang Xie and Johannes Lederer},
journal= {arXiv preprint arXiv:2205.04491},
year = {2025}
}