动力系统中深度神经网络在线自适应的控制理论技术

深度神经网络(DNNs)通过基于梯度的优化和反向传播进行训练，是现代人工智能、机器学习和数据科学的主要工具。在许多应用中，DNNs通过监督学习或强化学习离线训练，并在线部署进行推理。然而，使用标准反向传播和基于梯度的优化训练DNNs不会提供内在的性能保证或界限，这对于控制等应用至关重要。此外，许多离线训练和在线推理问题，例如强化学习策略的sim2real迁移，会经历从训练分布到真实世界分布的领域偏移。为了解决这些稳定性和迁移学习问题，我们提出使用控制理论技术在线更新DNN参数。我们将全连接前馈DNN表述为连续时间动力系统，并提出新颖的最后一层更新律，在DNN输入向量时间导数的各种条件下保证期望的误差收敛。我们进一步表明，在谱归一化下训练DNN可以控制在线DNN预测误差轨迹的上界，这在数值微分量或噪声状态测量输入到DNN时是可取的。所提出的在线DNN自适应律在仿真中得到了验证，用于学习领域偏移下Van der Pol系统的动力学，其中推理时的参数与训练数据集不同。仿真证明了使用控制理论技术推导基于DNN的学习系统的性能改进和保证的有效性。