基于Simplex的安全持续学习机
机器学习
2024-10-08 v2 人工智能
机器人学
摘要
本文提出SeC-Learning Machine：面向安全关键自主系统的、基于Simplex的安全持续学习。SeC学习机建立在Simplex逻辑（即“以简单控制复杂”）和物理调控的深度强化学习（Phy-DRL）之上。因此，SeC学习机由HP（高性能）-Student、HA（高保障）-Teacher和协调器构成。具体而言，HP-Student是一个预训练的、高性能但未完全验证的Phy-DRL，它在真实设备中持续学习以调整动作策略使其安全。相比之下，HA-Teacher是一个任务缩减的、基于物理模型的、经过验证的设计。作为补充，HA-Teacher有两个任务：保障安全和纠正不安全的学习。协调器触发HP-Student和HA-Teacher之间的交互与切换。在这三个交互组件的驱动下，SeC学习机能够：i) 确保终身安全（即在任何持续学习阶段的安全保障，无论HP-Student是否成功或收敛），ii) 解决Sim2Real差距，以及iii) 学习容忍真实设备中的未知未知。在小车-立杆系统和真实四足机器人上的实验，与基于最先进安全DRL框架并解决Sim2Real差距的持续学习方法相比，展示了SeC学习机的显著特性。
引用
@article{arxiv.2409.05898,
title = {Simplex-enabled Safe Continual Learning Machine},
author = {Hongpeng Cao and Yanbing Mao and Yihao Cai and Lui Sha and Marco Caccamo},
journal= {arXiv preprint arXiv:2409.05898},
year = {2024}
}