智能Go-Explore：站在巨型基础模型的肩膀上

Go-Explore是一系列旨在解决硬探索问题的强大算法，基于保存已发现状态的原则，不断返回并探索最有前景的状态。该方法已在广泛的各种具有挑战性的问题上实现超人类水平，包括Atari游戏和机器人控制，但需要手动设计启发式方法来指导探索（即确定保存哪些状态、从哪些状态探索，以及考虑哪些动作），这既耗时又不具可行性。为此，我们提出了智能Go-Explore（IGE），通过用巨型预训练基础模型（FMs）取代这些手工启发式方法，大大扩展了原始Go-Explore的范围。这为IGE提供了类人能力，能够不加解释地识别任何新状态的有趣程度或前景（例如发现新对象、新位置或新行为），即便在难以定义启发式方法的复杂环境中也是如此。此外，IGE还提供了识别并利用机遇发现的机会——在探索过程中遇到的状态在探索方面具有价值，但其有趣之处并非人类使用者所预期。我们在需要搜索和探索的多样化语言和视觉任务上评估了该算法。在这些任务上，IGE显著超越了经典强化学习和图搜索基线，并且在先前的SOTA FM代理（如Reflexion）完全失败的地方取得成功。总体而言，智能Go-Explore将FMs的巨大优势与强大的Go-Explore算法相结合，开启了一项新的研究前沿，致力于创建更具一般性能力的代理，拥有出色的探索能力。