Roll-Drop：用单一参数应对观测噪声
机器人学
2023-04-27 v1 人工智能
摘要
本文提出了一种用于深度强化学习（DRL）中模拟到现实（sim-to-real）的简单策略——称为 Roll-Drop——其在仿真过程中使用 dropout 来应对部署时的观测噪声，而无需对每个状态显式建模其分布。DRL 是一种有前景的方法，可用于控制机器人完成高度动态且基于反馈的机动动作，而精确的模拟器对于提供廉价且丰富的数据以学习期望行为至关重要。然而，仿真数据是无噪声的，通常表现出分布偏移，这给搭载受噪声影响的传感器读数的真实机器部署带来了挑战。标准解决方案是对后者建模并在训练时注入噪声；虽然这需要进行彻底的系统辨识，但 Roll-Drop 仅通过调节单一参数即可增强对传感器噪声的鲁棒性。我们展示了在观测中注入高达 25% 噪声时达到 80% 的成功率，鲁棒性比基线高出一倍。我们将仿真中训练的控制器部署在 Unitree A1 平台上，并在物理系统上评估了这一改进的鲁棒性。
引用
@article{arxiv.2304.13150,
title = {Roll-Drop: accounting for observation noise with a single parameter},
author = {Luigi Campanaro and Daniele De Martini and Siddhant Gangapurwala and Wolfgang Merkt and Ioannis Havoutis},
journal= {arXiv preprint arXiv:2304.13150},
year = {2023}
}
备注
Accepted at Learning for Dynamics & Control Conference 2023 (L4DC), 10 pages, 7 figures