冰与火之歌：在ScienceWorld中分析文本自目标智能体

构建能够自主发现多样化行为的开放式智能体是人工智能的长期目标之一。该挑战可在自目标强化学习（autotelic RL）智能体框架下研究，即通过学习选择和追求自身目标、自组织学习课程的智能体。近期工作确认语言是自目标学习的关键维度，尤其因为它支持抽象目标采样以及来自社会同伴的回顾重标注指导。在此视角下，我们研究以下开放科学问题：来自社会同伴的回顾反馈（如选择性vs.穷尽性）有何影响？智能体如何从其经验回放中极稀有的语言目标示例学习？多种探索形式如何结合，并利用较易目标作为垫脚石以达成更难目标？为解答这些问题，我们使用ScienceWorld，一个具有丰富抽象与组合物理的文本环境。我们展示了社会同伴反馈选择性的重要性；经验回放需对稀有目标示例过采样；以及遵循智能体能力处于中等水平的自生成目标序列可显著改善最终性能。