超越 Sharkovsky 定理的混沌轨道下神经网络的表达能力
机器学习
2021-10-22 v1 动力系统
混沌动力学
摘要
给定目标函数 ，神经网络必须多大才能逼近 ？近期工作从动力系统的视角审视这一关于神经网络\textit{表达能力}的基本问题，并为一大类函数 给出了新颖的“深度-宽度”权衡。它们表明此类权衡由 中\textit{周期}点或\emph{环}的存在所支配。我们通过进一步运用动力系统概念，揭示了周期性与表达能力之间更微妙的联系：我们证明仅周期点会导致次优的深度-宽度权衡，并通过展示某些“混沌轨道”给出更强的指数级权衡从而改进了它们，即使在先前分析仅意味着多项式间隙的 regime 下亦如此。与先前工作相反，我们的界近乎最优，随周期增大而收紧，并能处理强不可逼近性概念（例如常数 误差）。更广泛地，我们确定了到\textit{混沌 regime} 的相变，它恰好与其他函数复杂性度量（包括 VC 维与拓扑熵）的突然转变相吻合。
引用
@article{arxiv.2110.10295,
title = {Expressivity of Neural Networks via Chaotic Itineraries beyond Sharkovsky's Theorem},
author = {Clayton Sanford and Vaggos Chatziafratis},
journal= {arXiv preprint arXiv:2110.10295},
year = {2021}
}
备注
47 pages, 19 figures