STALE：LLM智能体能否知晓其记忆何时不再有效？
计算与语言
2026-05-08 v1
摘要
大型语言模型（LLM）智能体越来越被期望能够维持连贯的长期个性化记忆，然而当前的基准测试主要衡量静态事实检索，忽视了在新证据出现时修正已存储信念的能力。我们识别出一种关键且尚未充分探索的失败模式——隐式冲突：后续观察使先前记忆失效，但缺乏明确的否定，需要上下文推理和常识推理才能检测到。为了严格评估这一能力，我们引入了STALE，一个包含400个经专家验证的冲突场景（跨三个探测维度共1,200个评估查询）的基准测试，涵盖100多个日常主题，上下文长度达150K tokens。我们提出了一个三维探测框架，测试状态消解（检测先前信念已过时）、前提抗拒（拒绝错误预设过时状态的查询）和隐式策略适应（在下游行为中主动应用更新后的状态）。对前沿LLM和专用记忆框架的系统评估揭示了在检索更新证据与据此行动之间存在普遍差距，即使是评估中表现最好的模型也仅达到55.2%的总体准确率。模型经常接受用户查询中嵌入的过时假设，并且难以识别用户状态某一方面的变化何时应使相关记忆失效。为了建立状态感知记忆的初始基线，我们进一步提出了CUPMem，一个通过结构化状态整合和传播感知搜索来加强写入时修正的原型，表明显式状态裁定是构建鲁棒智能体记忆的一个有前景的方向。
引用
@article{arxiv.2605.06527,
title = {STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?},
author = {Hanxiang Chao and Yihan Bai and Rui Sheng and Tianle Li and Yushi Sun},
journal= {arXiv preprint arXiv:2605.06527},
year = {2026}
}