以神经符号方法提升交互式指令跟随中对物体与指令变化的鲁棒性
人工智能
2022-11-16 v2 计算与语言
人机交互
摘要
交互式指令跟随任务已被提出作为将自然语言指令与第一人称视觉映射为动作序列以在 3D 环境中与物体交互的学习基准。我们发现该任务的现有端到端神经模型往往未能与具有未见属性的物体交互并遵循多样指令。我们假定该问题由神经特征提取对视觉与语言输入微小变化的高敏感性所致。为缓解此问题，我们提出一种利用对原始输入微小变化鲁棒的高层符号特征作为中间表示的神经符号方法。我们在 ALFRED 基准上以子任务评估验证了模型的有效性。我们的实验表明，在未见环境中，我们的方法在 ToggleObject、PickupObject 与 SliceObject 子任务的成功率上分别以 9、46 与 74 分显著优于端到端神经模型。
引用
@article{arxiv.2110.07031,
title = {Improving the Robustness to Variations of Objects and Instructions with a Neuro-Symbolic Approach for Interactive Instruction Following},
author = {Kazutoshi Shinoda and Yuki Takezawa and Masahiro Suzuki and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2110.07031},
year = {2022}
}
备注
Accepted to the 29th International Conference on MultiMedia Modeling (MMM 2023)