具有有向无环图架构的通用神经网络的线性化转变
机器学习
2023-06-13 v2 最优化与控制
机器学习
摘要
在本文中，我们证明对应于任意有向无环图的前馈神经网络在其“宽度”趋于无穷时发生线性化转变。这些通用网络的宽度由除输入层和第一层外其神经元的最小入度刻画。我们的结果揭示了线性化转变背后的数学结构，并推广了近期一系列旨在刻画标准架构下线性化转变或神经切线核恒定性的工作。
引用
@article{arxiv.2205.11786,
title = {Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture},
author = {Libin Zhu and Chaoyue Liu and Mikhail Belkin},
journal= {arXiv preprint arXiv:2205.11786},
year = {2023}
}
备注
NeurIPS 2022