跨环境的零样本仿真到现实自适应
机器学习
2023-02-09 v1 人工智能
机器人学
摘要
基于模拟的学习通常为机器人领域的强化学习应用提供高性价比的替代方案。然而，模拟器通常无法准确复现真实世界动力学，因此弥合sim2real鸿沟是基于模拟学习中的一个重要问题。当前弥合sim2real鸿沟的方案涉及用神经残差模型增强的混合模拟器。遗憾的是，它们需要为每个独立的环境配置（即质量、摩擦等环境变量的固定设置）分别训练一个残差模型，因而无法快速迁移到新环境。为解决此问题，我们提出一种反向动作变换（RAT）策略，该策略学习在真实世界中模仿模拟策略。一旦从单一环境中习得，RAT便可部署于通用策略网络（Universal Policy Network）之上，以实现对新环境的零样本自适应。我们在一组连续控制任务中实证评估了我们的方法，并观察到其作为少样本与零样本学习器相对于对比基线的优势。
引用
@article{arxiv.2302.04013,
title = {Zero-shot Sim2Real Adaptation Across Environments},
author = {Buddhika Laknath Semage and Thommen George Karimpanal and Santu Rana and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2302.04013},
year = {2023}
}