像专家一样学习：从理论范数到神经网络规模确定
机器学习
2021-06-23 v1 动力系统
混沌动力学
摘要
神经网络的最优设计在许多应用中都是关键问题。此处，我们研究具有多项式非线性的动力系统如何为旨在模拟它们的神经系统设计提供信息。我们提出一种可学习性(Learnability)度量及其关联特征，以量化学习动态的近平衡行为。将神经系统的可学习性与参考系统的等效参数估计度量等同，建立了网络结构的界限。如此，来自理论的范数提供了神经网络结构的良好初猜，其后可随数据进一步自适应。所提方法既不需要训练也不需要训练数据。它揭示了一类具有乘法节点的神经网络的精确规模确定，这些网络模拟连续或离散时间多项式动态。它也为经典前馈网络提供了相对紧的下界规模，与仿真评估一致。
引用
@article{arxiv.2106.11409,
title = {Learn Like The Pro: Norms from Theory to Size Neural Computation},
author = {Margaret Trautner and Ziwei Li and Sai Ravela},
journal= {arXiv preprint arXiv:2106.11409},
year = {2021}
}
备注
7 pages