学习非线性动力系统的近最优离线与流式算法

我们考虑向量值非线性动力系统 $X_{t+1} = \phi(A^* X_t) + \eta_t$，其中 $\eta_t$ 为无偏噪声，$\phi : \mathbb{R} \to \mathbb{R}$ 为已知且满足特定{\em 扩张性（expansivity）}的链接函数。目标是从单条轨迹 $X_1,\cdots,X_T$ 的{\em 依赖或相关}样本中学习 $A^*$。该问题在线性情形（$\phi$ 为恒等映射）下已被充分研究，即使对非混合系统也有最优误差率；而现有非线性结果仅适用于混合系统。本工作中我们从多方面改进非线性系统学习的现有结果：a) 我们给出首个无需混合假设即可学习非线性动力系统的离线算法；b) 我们显著改进了混合系统现有结果的样本复杂度；c) 在更难的单遍流式设定下，我们研究了一种带反向经验回放（Reverse Experience Replay, $\mathsf{SGD-RER}$）的 SGD 方法，并证明对混合系统其达到与离线算法相同的样本复杂度；d) 我们论证了扩张性假设的合理性：对于流行的 ReLU 链接函数——一种非扩张但易于用 i.i.d. 样本学习的链接函数——任何方法都需来自动力系统的指数级多样本（关于 $X_t$ 的维度）。我们通过仿真验证结果，并表明朴素应用 SGD 可能高度次优。确实，我们的工作表明：对相关数据，专为数据依赖结构设计的专门方法可显著优于基于标准 SGD 的方法。