面向内手操控的模拟到真实迁移中基于课程表的感知缩减
机器人学
2024-10-17 v1
摘要
模拟到真实迁移利用深度强化学习方法为操控任务的学习型机器人提供经济且快速的训练。当前Sim2Real使用非对称Actor-Critic方法将模拟中丰富的理想化特征缩减为真实世界中可获取的特征。然而，从模拟到真实世界的特征缩减通过经验定义的单步截断进行。小的特征缩减不能充分去除执行器的特征，仍可能导致物理系统搭建困难；而大的特征缩减可能导致训练困难与低效。为解决此问题，我们提出基于课程表的感知缩减，使执行器从与评论器相同的丰富特征空间起步，然后逐步摆脱难以提取的特征，以获得更高训练性能和真实世界特征空间更好适应性。缩减的特征由深度随机生成器产生的随机信号替代，以消除输出与移除特征间的依赖并避免产生新依赖。方法在Allegro机械手真实世界内手操控任务中评估。结果表明，我们的方法比基线训练更快、任务性能更高，且能在所选触觉特征被缩减时解决真实世界任务。
引用
@article{arxiv.2309.07350,
title = {Curriculum-based Sensing Reduction in Simulation to Real-World Transfer for In-hand Manipulation},
author = {Lingfeng Tao and Jiucai Zhang and Qiaojie Zheng and Xiaoli Zhang},
journal= {arXiv preprint arXiv:2309.07350},
year = {2024}
}