Neuromem: 外部记忆中LLM流式生命周期的粒细分解

大多数外部记忆模块的评估假设为静态设置：记忆在离线构建后在固定状态下查询。在实际情况下，记忆是流式的：新事实持续到达，插入与检索交织，记忆状态在模型服务查询时不断演化。在此情境下，准确性和成本由记忆的完整生命周期所支配，该生命周期包括信息的摄取、维护、检索以及集成到生成中的过程。我们提出Neuromem，这是一个可扩展的测试基准，对外部记忆模块在交错插入和检索协议下进行基准测试，并将其生命周期分解为五个维度，包括记忆数据结构、归一化策略、整合策略、查询表述策略和上下文集成机制。使用三个代表性数据集LOCO、LONGMEMEVAL和MEMORYAGENTBENCH，Neuromem评估共享服务堆栈内可互换的变体，报告基于token的F1分数和插入/检索延迟。总体而言，我们观察到随着轮次的增长，性能通常会随记忆规模而恶化，与时间相关的查询保持最具挑战性。记忆数据结构在可达质量边界方面起主要作用，而激进的压缩和生成式集成机制主要是在插入和检索之间转移成本，准确率提升有限。