面向复杂长程机器人操作任务的内在语言引导探索

当前强化学习算法在稀疏且复杂的环境中表现不佳，尤其在涉及大量不同序列的长程操作任务中。本工作中，我们提出大语言模型内在引导探索(IGE-LLMs)框架。通过利用LLMs作为辅助内在奖励，IGE-LLMs引导强化学习中的探索过程，以应对稀疏奖励的复杂长程机器人操作任务。我们在具探索挑战的环境及受探索与长程双重挑战的复杂机器人操作任务中评估了我们的框架与相关内在学习方法。结果显示IGE-LLMs (i) 相较相关内在方法及LLMs在决策中的直接使用表现出显著更优性能，(ii) 可结合并补充现有学习方法，凸显其模块化，(iii) 对不同内在缩放参数相当不敏感，(iv) 对增大的不确定性与程长保持鲁棒性。