面向智能个人助理的扎根记忆系统

各种智能体应用——从认知助理（用于痴呆患者）到机器人——都对建立以现实世界为依托的稳健记忆系统提出了要求。本文提出了这样一个记忆系统，包含三个组成部分。首先，我们将视觉语言模型用于图像描述和实体消歧，并与大语言模型结合，在感知过程中实现一致的信息提取。其次，提取的信息以记忆结构呈现，包含通过向量嵌入增强的知识图谱，以高效管理关系信息。最后，我们结合语义搜索和图查询生成，用于通过检索增强生成进行问答。我们通过一个真实世界的例子说明该系统的运行方式和潜力。