行动前先询问：通过提问泛化至新环境
人工智能
2022-09-14 v2 机器学习
摘要
解决时间扩展任务是大多数强化学习（RL）算法的挑战 [arXiv:1906.07343]。我们研究 RL 智能体学习提出自然语言问题作为理解其环境并在新颖的、时间扩展环境中获得更高泛化性能的工具的能力。为此，我们赋予该智能体向全知 Oracle 提出“是否”问题的能力。这使智能体能够获得关于手头任务的指导，同时限制对新信息的访问。为研究此类自然语言问题在时间扩展任务背景下的涌现，我们首先在 Mini-Grid 环境中训练我们的智能体，然后将训练好的智能体迁移到一个不同的、更困难的环境中。我们观察到与无法提问的基线智能体相比，泛化性能显著提升。通过将自然语言理解立足于其环境，该智能体能够推理其环境的动态，以至于在部署到新环境时可提出相关的新的问题。
引用
@article{arxiv.2209.04665,
title = {Ask Before You Act: Generalising to Novel Environments by Asking Questions},
author = {Ross Murphy and Sergey Mosesov and Javier Leguina Peral and Thymo ter Doest},
journal= {arXiv preprint arXiv:2209.04665},
year = {2022}
}