单隐藏层 ReLU 网络的原理
机器学习
2025-07-14 v2 人工智能
神经与进化计算
摘要
具有单隐藏层或两层神经网络（不论输入层）是最简单的前馈神经网络，其机制可能是更一般网络架构的基础。然而，即便是这种简单结构，其解决方案的解释机制仍不清晰，亦无法通过确定性方式控制训练过程。本文系统研究了第一个问题，通过构建通用函数逼近解来进行分析。结果表明，理论上和实验上，针对一维输入的训练解可以被完全理解，而针对高维输入的解也可在一定程度上得到解释。这些结果为彻底揭示两层 ReLU 网络的黑箱作用，推进对深层 ReLU 网络的理解提供了新的思路。
引用
@article{arxiv.2411.06728,
title = {On the Principles of ReLU Networks with One Hidden Layer},
author = {Changcun Huang},
journal= {arXiv preprint arXiv:2411.06728},
year = {2025}
}