含对抗扰动的连续时间线性系统在线控制
最优化与控制
2025-06-10 v5 系统与控制
系统与控制
摘要
我们研究具有有限采样率的连续时间线性系统的在线控制，其目标是设计一种在非随机噪声下学习并与固定最优线性控制器性能相当的在线过程。我们提出了一种新颖的两层在线算法，通过整合高层学习策略与低层反馈控制策略实现。该方法为在线控制提供了一种实用且鲁棒的解决方案，实现了次线性后悔值。我们的工作给出了针对连续时间线性系统在有限次系统交互下进行控制的首个非渐近结果。此外，我们从非随机控制的角度考察了如何在域随机化环境中训练智能体。通过将我们的方法应用于 SAC (Soft Actor-Critic) 算法，我们在域随机化环境中的多个强化学习任务中取得了改进结果。我们的工作为连续时间系统控制的非渐近分析提供了新见解。进一步，我们的工作为在非随机环境下的控制器学习带来了实用直觉。
引用
@article{arxiv.2306.01952,
title = {Online Control with Adversarial Disturbance for Continuous-time Linear Systems},
author = {Jingwei Li and Jing Dong and Can Chang and Baoxiang Wang and Jingzhao Zhang},
journal= {arXiv preprint arXiv:2306.01952},
year = {2025}
}