EgoMem：面向全双工多模态模型的终身记忆智能体
人工智能
2026-02-02 v2
摘要
我们介绍 EgoMem，这是首个为全双工模型设计的终身记忆智能体，能够处理实时多模态流。EgoMem 使实时模型能够直接从原始音视频流中识别多个用户，提供个性化响应，并维护用户从音视频历史中提取的长期知识，包括事实、偏好及社交关系。EgoMem 由三个异步进程组成：(i) 检索进程通过面部和语音动态识别用户，从长期记忆中检索相关上下文；(ii) 多模态对话进程基于检索到的上下文生成个性化音频响应；(iii) 记忆管理进程从多模态流中自动检测对话边界，并提取必要信息以更新长期记忆。与现有针对大语言模型的记忆智能体不同，EgoMem完全依赖原始音视频流，特别适用于终身、实时及具身场景。实验结果表明，EgoMem 的检索和记忆管理模块在测试集上实现超过 95% 的准确率。当集成到微调的 RoboEgo 多模态聊天机器人时，系统在实时个性化对话中实现事实一致性得分超过 87%，为后续研究建立了强基准。
引用
@article{arxiv.2509.11914,
title = {EgoMem: Lifelong Memory Agent for Full-duplex Omnimodal Models},
author = {Yiqun Yao and Naitong Yu and Xiang Li and Xin Jiang and Xuezhi Fang and Wenjia Ma and Xuying Meng and Jing Li and Aixin Sun and Yequan Wang},
journal= {arXiv preprint arXiv:2509.11914},
year = {2026}
}