一种用于人机交互中知识 grounded 响应生成的图到文本方法

知识图谱常以灵活高效的方式表示结构化信息,但其在情境化对话中的使用仍待充分探索。本文提出一种用于人机交互的新型对话模型,该模型建立在对话状态的基于图的表示之上。表示对话状态的知识图谱利用来自机器人传感器的包括语言、情境和多模态输入的新观测持续更新,并进一步由其他模块(特别是空间理解模块)丰富。用于响应用户话语的神经对话模型依赖于一种简单但有效的图到文本机制,该机制遍历对话状态图并将遍历转换为自然语言形式。这种状态图到文本的转换为使用一组参数化函数执行,这些函数的参数值基于一小部分Wizard-of-Oz交互进行优化。转换后,对话状态图的文本表示作为大语言模型提示的一部分包含在内,用于解码智能体响应。所提方法通过一项用户研究进行实证评估,该研究使用人形机器人作为对话伙伴以评估图到文本机制对响应生成的影响。在机器人沿室内环境游览后,参与者使用口语对话与机器人交互,并评估机器人回答有关游览期间所观察内容问题的能力。用户评分显示,与采用语义三元组结构输入的基线相比,使用图到文本方法时机器人响应的感知事实性有统计显著提升。