基于对比提示集成的具身智能体高效策略适应

对于与环境交互的具身强化学习（RL）智能体而言，期望能够快速适应未见过的视觉观察，但在 RL 背景下实现零样本适应能力被认为是一个具有挑战性的问题。为了解决这个问题，我们提出了一种新颖的对比提示集成框架，该框架利用预训练的视觉-语言模型和一组视觉提示，从而能够在具身智能体所遇到的广泛环境和物理变化之上实现高效的策略学习和适应。具体而言，我们设计了一种基于引导注意力的集成方法，在视觉-语言模型上使用多个视觉提示来构建鲁棒的状态表示。每个提示根据显著影响智能体自我中心感知和观察的个体域因子进行对比学习。对于给定任务，基于注意力的集成和策略是联合学习的，使得生成的状态表示不仅能够泛化到各种域，而且针对学习该任务进行了优化。通过实验，我们表明 ConPE 在多个具身智能体任务中优于其他最先进的算法，包括在 AI2THOR 中的导航、在 egocentric-Metaworld 中的操作以及在 CARLA 中的自动驾驶，同时还提高了策略学习和适应的样本效率。