神经 ODE 中插值的深度与宽度之间的相互作用

神经常微分方程已从控制的角度成为监督学习的自然工具，然而对其最优架构的完整理解仍然难以实现。在这项工作中，我们研究了其宽度 $p$ 与层转换数 $L$（即有效深度 $L+1$）之间的相互作用。具体而言，我们根据模型在 Wasserstein 误差范围 $\varepsilon>0$ 内插值包含 $N$ 对点的有限数据集 $D$ 或 $\mathbb{R}^d$ 中两个概率测度的能力来评估模型的表达能力。我们的发现揭示了 $p$ 和 $L$ 之间存在平衡权衡，对于数据集插值，$L$ 的缩放为 $O(1+N/p)$，对于测度插值，$L=O\left(1+(p\varepsilon^d)^{-1}\right)$。在 $L=0$ 的自治情况下，需要进行单独研究，我们针对数据集插值进行了此项研究。我们处理了 $\varepsilon$-近似可控性的松弛问题，并建立了 $\varepsilon\sim O(\log(p)p^{-1/d})$ 的误差衰减。这种衰减率是将通用近似定理应用于插值 $D$ 的定制 Lipschitz 向量场的结果。在高维设置中，我们进一步证明 $p=O(N)$ 个神经元可能足以实现精确控制。