TWIST：用于高效仿真到现实迁移的教师-学生世界模型蒸馏
机器人学
2023-11-08 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
基于模型的强化学习（RL）由于相比无模型RL具有更好的样本效率和泛化能力，是真实世界机器人的一种有前景的方法。然而，面向基于视觉的真实世界应用的有效基于模型的RL解决方案，需要为所学任何世界模型弥合仿真到现实的鸿沟。由于其显著的计算成本，标准域随机化并未为该问题提供有效解决方案。本文提出TWIST（用于仿真到现实迁移的教师-学生世界模型蒸馏，Teacher-Student World Model Distillation for Sim-to-Real Transfer），利用蒸馏实现基于视觉的基于模型的RL的高效仿真到现实迁移。具体而言，TWIST利用状态观测作为易于获取的、通常从模拟器中获得的特权信息，以显著加速仿真到现实迁移。具体地，一个教师世界模型在状态信息上被高效训练。同时，收集域随机化图像观测的匹配数据集。然后教师世界模型监督以域随机化图像观测作为输入的学生世界模型。通过将学到的潜在动态模型从教师蒸馏到学生模型，TWIST实现了基于视觉的基于模型的RL任务的高效且有效的仿真到现实迁移。在仿真和真实机器人任务中的实验表明，我们的方法在仿真到现实迁移的样本效率和任务性能方面优于朴素域随机化和无模型方法。
引用
@article{arxiv.2311.03622,
title = {TWIST: Teacher-Student World Model Distillation for Efficient Sim-to-Real Transfer},
author = {Jun Yamada and Marc Rigter and Jack Collins and Ingmar Posner},
journal= {arXiv preprint arXiv:2311.03622},
year = {2023}
}
备注
7 pages, 6 figures