利用语言抽象改进内在探索
机器学习
2022-11-23 v2 人工智能
计算与语言
摘要
当奖励稀疏时，强化学习（RL）智能体尤其难以训练。一种常见的解决方案是使用内在奖励来鼓励智能体探索其环境。然而，近期的内在探索方法常使用基于状态的新颖性度量，其奖励低层次的探索，可能难以扩展到需要更抽象技能的域。相反，我们探索将自然语言作为突出环境中相关抽象的一般媒介。与以往工作不同，我们评估语言是否可以通过直接扩展（并与）具有竞争力的内在探索基线 AMIGo（Campero 等人，2021）和 NovelD（Zhang 等人，2021）进行比较来改进现有探索方法。这些基于语言的变体在来自 MiniGrid 和 MiniHack 环境套件的 13 个具有挑战性的任务上，比其非语言形式高出 47%–85%。
引用
@article{arxiv.2202.08938,
title = {Improving Intrinsic Exploration with Language Abstractions},
author = {Jesse Mu and Victor Zhong and Roberta Raileanu and Minqi Jiang and Noah Goodman and Tim Rocktäschel and Edward Grefenstette},
journal= {arXiv preprint arXiv:2202.08938},
year = {2022}
}
备注
NeurIPS 2022