从像素与自然语言指令学习解决体素搭建具身任务
人工智能
2022-11-03 v1 计算与语言
摘要
采用预训练语言模型为具身智能体生成动作规划是一种有前景的研究策略。然而，在真实或模拟环境中执行指令需要验证动作的可行性及其与完成目标的相关性。我们提出一种结合语言模型与强化学习的新方法，用于在类Minecraft环境中依据自然语言指令搭建物体。我们的方法首先从指令生成一组可一致达成的子目标，随后利用预训练的RL策略完成相关子任务。所提方法构成了IGLU 2022竞赛的RL基线。
引用
@article{arxiv.2211.00688,
title = {Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions},
author = {Alexey Skrynnik and Zoya Volovikova and Marc-Alexandre Côté and Anton Voronov and Artem Zholus and Negar Arabzadeh and Shrestha Mohanty and Milagro Teruel and Ahmed Awadallah and Aleksandr Panov and Mikhail Burtsev and Julia Kiseleva},
journal= {arXiv preprint arXiv:2211.00688},
year = {2022}
}
备注
6 pages, 3 figures