R2DN：收缩型和 Lipschitz 循环深度网络的可扩展参数化
机器学习
2025-04-03 v1 系统与控制
系统与控制
摘要
本文提出了鲁棒循环深度网络（Robust Recurrent Deep Network, R2DN），这是一种针对机器学习和数据驱动控制的鲁棒循环神经网络的可扩展参数化方法。我们将 R2DN 构建为线性时不变系统与 1-Lipschitz 深度前馈网络的反馈耦合，通过直接参数化权重以确保模型在设计时即具备稳定性（收敛性）和对小输入扰动的鲁棒性（Lipschitz 连续性）。我们的参数化方法类似于之前提出的循环均衡网络（REN），但无需在每个时间步求解迭代平衡层，从而加快了在 GPU 上的模型评估和反向传播速度，使得相较于 REN 能够更容易地扩展网络规模、批量大小和输入序列长度。我们将 R2DN 与 REN 在非线性系统辨识、观测器设计和基于学习的反馈控制三个典型问题上进行比较，发现训练和推理速度均提升了约一个数量级，同时在测试集性能上相近，并且训练/推理时间随模型表达能力的扩展更为有利。
关键词
引用
@article{arxiv.2504.01250,
title = {R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks},
author = {Nicholas H. Barbara and Ruigang Wang and Ian R. Manchester},
journal= {arXiv preprint arXiv:2504.01250},
year = {2025}
}