提问与探索：面向好奇心驱动探索的基于实况问答方法

在许多真实场景中，智能体获得的外在奖励极为稀疏，好奇心作为一种有用的概念应运而生，它提供内在奖励，使智能体能够探索环境并获取信息以实现其目标。尽管现有的好奇心方法在许多稀疏奖励任务上表现强劲，但它们依赖于对状态转移过于整体的视角，无法对环境特定方面形成结构化理解。在本文中，我们基于实况问答来构建好奇心，鼓励智能体向环境提问，并在这些问题的答案发生变化时产生好奇。我们表明，自然语言问题能够促使智能体揭示关于其环境的具体知识，例如物体的物理属性以及它们与其他物体的空间关系，这些知识可作为有价值的好奇心奖励，从而更高效地解决稀疏奖励任务。