昔日盲然今得见：在社会机器人中实现视觉赋能对话

在快速发展的人机交互领域，将视觉能力集成到对话智能体中是一项关键进展。本文提出了一个对话管理器的初步实现，其利用大语言模型（如 GPT-4、IDEFICS）的最新进展，以实时视觉输入增强传统的基于文本的提示。LLM 用于解释文本提示与视觉刺激，从而创建更具上下文感知能力的对话智能体。该系统的提示工程结合了对话与图像摘要，确保了上下文保留与计算效率之间的平衡。本文报告了由该系统驱动的 Furhat 机器人的六次交互，对所得结果进行了说明与讨论。通过实现这一视觉赋能对话系统，本文展望了一个对话智能体无缝融合文本与视觉模态、实现更丰富且更具上下文感知对话的未来。