Omni-SimpleMem：自动研究引导的终身多模态智能体记忆发现
人工智能
2026-04-03 v2
摘要
AI 智能体越来越多地在扩展的时间尺度上运行，但其保留、组织和回忆多模态体验的能力仍然是一个关键瓶颈。构建有效的终身记忆需要导航一个涵盖架构、检索策略、提示工程和数据流水线的广阔设计空间；该空间过于庞大且相互关联，无法通过手动探索或传统 AutoML 有效探索。我们部署了一个自主研究流水线来发现 Omni-SimpleMem，这是一个面向终身 AI 智能体的统一多模态记忆框架。从一个朴素基线（LoCoMo 上 F1=0.117）出发，该流水线自主执行约 50 次实验，涵盖两个基准数据集，诊断失败模式、提出架构修改并修复数据流水线错误，全程无需人工干预内循环。结果系统在两个基准数据集上均达到最先进水平，相对于初始配置，LoCoMo 上 F1 提升 +411%（0.117→0.598），Mem-Gallery 上 F1 提升 +214%（0.254→0.797）。关键的是，最具影响力的发现并非超参数调整：错误修复（+175%）、架构变更（+44%）和提示工程（特定类别上 +188%）各自单独超过了所有超参数调参的累积贡献，展现出传统 AutoML 根本无法企及的能力。我们提供了六种发现类型的分类法，并识别出四个使多模态记忆特别适合自动研究的特性，为将自主研究流水线应用于其他 AI 系统领域提供了指导。代码可在 https://github.com/aiming-lab/SimpleMem 获取。
引用
@article{arxiv.2604.01007,
title = {Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory},
author = {Jiaqi Liu and Zipeng Ling and Shi Qiu and Yanqing Liu and Siwei Han and Peng Xia and Haoqin Tu and Zeyu Zheng and Cihang Xie and Charles Fleming and Mingyu Ding and Huaxiu Yao},
journal= {arXiv preprint arXiv:2604.01007},
year = {2026}
}