通过 Chen-Fliess 级数分析神经常微分方程的 Rademacher 复杂度

我们展示了如何利用非线性常微分方程的 Chen-Fliess 级数展开，将连续深度神经常微分方程模型构建为单层、无限宽的网络。在这个网络中，输出“权重”取自控制输入的签名——一种用于将无限维路径表示为张量序列的工具——它包含控制输入在单纯形上的迭代积分。“特征”则取为输出函数相对于受控 ODE 模型中向量场的迭代李导数。本工作的主要结果应用此框架推导出 ODE 模型（将初始条件映射到某个终端时刻的标量输出）的 Rademacher 复杂度的紧凑表达式。该结果利用了单层架构所提供的直接分析。我们最后给出了一些实例，为某些特定系统实例化了该界限，并讨论了潜在的后续工作。