FILM: 用模块化方法遵循语言指令
计算与语言
2022-03-18 v3 机器学习
摘要
近期用于具身指令遵循的方法通常使用模仿学习进行端到端训练。这通常需要使用专家轨迹和底层语言指令。此类方法假设神经状态将整合多模态语义，以执行状态跟踪、构建空间记忆、探索和长期规划。相比之下，我们提出了一种具有结构化表示的模块化方法，该方法（1）构建场景的语义地图，并（2）使用语义搜索策略进行探索，以实现自然语言目标。我们的模块化方法在避免使用专家轨迹和底层指令、使用更少数据的情况下，取得了 SOTA 性能（24.46%），与先前工作相比有显著差距（绝对提升 8.17%）。然而，利用底层语言指令可以进一步提高我们的性能（26.49%）。我们的发现表明，即使在缺少专家轨迹或底层指令的情况下，显式的空间记忆和语义搜索策略也能为状态跟踪和引导提供更强大、更通用的表示。
引用
@article{arxiv.2110.07342,
title = {FILM: Following Instructions in Language with Modular Methods},
author = {So Yeon Min and Devendra Singh Chaplot and Pradeep Ravikumar and Yonatan Bisk and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2110.07342},
year = {2022}
}
备注
Published as a conference paper at International Conference on Learning Representations (ICLR) 2022