面向物理积木世界的空间问答语音对话系统

积木世界是一个经典的玩具领域，长期以来被用于构建和测试空间推理系统。尽管其相对简单，但在其全部复杂性下处理该领域需要智能体展现出从视觉到自然语言理解的一系列丰富功能能力。目前，使用现代技术在如此受限的领域中解决问题的兴趣正在复苏。在这项工作中，我们以整体方式处理空间问答，使用视觉系统、由动画化身中介的语音输入与输出、稳健解释空间查询的对话系统，以及基于三维空间建模推导答案的约束求解器。本工作的贡献包括：将空间问题映射为与意义表示通用方法一致的逻辑形式的语义解析器、基于模式表示的对话管理器，以及为空间问题提供符合人类感知答案的约束求解器。这些及其他组件被集成到一个多模态人机交互流水线中。