基于语言抽象与预训练表示的语义探索
机器学习
2023-04-28 v3 人工智能
摘要
有效的探索是强化学习 (RL) 中的一项挑战。基于新颖性的探索方法在高维状态空间（如连续部分可观测的 3D 环境）中可能表现不佳。我们通过使用语义上有意义的状态抽象来定义新颖性，以应对这一挑战，这类抽象可在由自然语言塑造的学习表示中找到。具体而言，我们评估在自然图像描述数据集上预训练的视觉-语言表示。我们表明这些预训练表示驱动有意义的、与任务相关的探索，并改善在 3D 模拟环境中的性能。我们还通过考察使用预训练模型、语言预言机及若干消融的表示的影响，刻画了语言为何及如何为探索提供有用抽象。我们在两个差异很大的任务域中展示了我们方法的益处——一个强调日常物体的识别与操控，另一个需要在广阔世界中的导航探索。我们的结果表明，使用语言塑造的表示可改善各种算法和智能体在挑战性环境中的探索。
引用
@article{arxiv.2204.05080,
title = {Semantic Exploration from Language Abstractions and Pretrained Representations},
author = {Allison C. Tam and Neil C. Rabinowitz and Andrew K. Lampinen and Nicholas A. Roy and Stephanie C. Y. Chan and DJ Strouse and Jane X. Wang and Andrea Banino and Felix Hill},
journal= {arXiv preprint arXiv:2204.05080},
year = {2023}
}
备注
NeurIPS 2022