单次演示下的视觉策略域适应

在实际应用中部署机器学习算法执行机器人任务面临核心挑战：克服训练环境与部署环境之间的域间差异。这在高维图像作为输入的视觉运动策略中尤为困难，尤其当这些图像通过仿真生成时。常见方法是通过域随机化来解决此问题，旨在扩大训练分布的范围以覆盖测试时间的分布。然而，该方法仅在域随机化涵盖实际测试时间分布的偏移时才有效。我们采取不同方法，利用单次演示（提示）来学习适应测试目标环境的策略。我们提出的框架 PromptAdapt 利用 Transformer 架构对序列数据建模的能力，学习演示条件化的视觉策略，允许对与训练不同的目标域进行原地适应。我们在仿真和实际环境中的实验表明，PromptAdapt 是一种强大的域适应策略，在包括光照、颜色、纹理和相机姿态等多种域偏移下，均显著优于基线方法。视频和更多信息可访问项目网页：https://sites.google.com/view/promptadapt。