解析具有光滑激活函数的两层神经网络
机器学习
2025-07-22 v1 人工智能
数值分析
数值分析
摘要
本文旨在理解由反向传播算法获得的两层神经网络的训练解，其中隐藏层由具有光滑激活函数的单元组成，包括在ReLU出现之前最常使用的sigmoid类函数。该机制包含四个主要原则：Taylor级数展开的构造、结点的严格部分顺序、光滑样条实现以及光滑连续性限制。证明了任意输入维度下的通用逼近，并通过实验验证，大幅揭示了解空间解的"黑盒"之谜。所用新证明也丰富了逼近理论。
引用
@article{arxiv.2507.14177,
title = {Understanding Two-Layer Neural Networks with Smooth Activation Functions},
author = {Changcun Huang},
journal= {arXiv preprint arXiv:2507.14177},
year = {2025}
}