积木世界对话系统中的历史感知问答

对于基于对话的空间推理系统而言，维持对世界历史状态的记忆至关重要。除了传达对话智能体在心理上处于在场并专注于任务之外，提及历史状态对于实现协作式规划（例如计划返回先前状态，或诊断过去的失误）可能至关重要。本文中，我们在一个多模态口语对话系统中处理空间记忆问题，该系统能够回答关于物理积木世界环境中交互历史的问题。本工作构建于一套完整的空间问答流水线之上，该流水线包含视觉系统、由动画虚拟形象中介的语音输入输出、稳健解释空间查询的对话系统，以及基于三维空间建模推导答案的约束求解器。本工作的贡献包括一个记录话语历史与世界变化知识的符号化对话上下文，以及一个能够解释自由形式历史问题并查询对话上下文以形成答案的自然语言理解模块。