BeliefShift：评估 LLM 代理中时序信念一致性与意见漂移的基准
计算与语言
2026-03-26 v1 计算机与社会
摘要
LLM 正在越来越多地用作长期对话代理，但每个主要评估其记忆能力的基准都将用户信息视为静态事实进行存储和检索。这模型是错误的。人们会改变想法，随着持续交互，意见漂移、过度对齐和确认偏差等现象变得至关重要。BeliefShift 引入了一个专门用于评估多会话 LLM 交互中信念动态的纵向基准，涵盖三个轨道：时序信念一致性、矛盾检测和证据驱动修订。数据集包括 2,400 份人工标注的多会话交互轨迹，涉及健康、政治、个人价值观和产品偏好等领域。我们在 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、LLaMA-3 和 Mistral-Large 等七个模型上进行评估，分别在零样本和检索增强生成 (RAG) 设置下进行测试。结果显示出明确的权衡：积极个性化的模型抗漂移能力差，而事实导向的模型则可能错过合法的信念更新。我们进一步引入四个新评估指标：信念修订准确率 (BRA)、漂移连贯性得分 (DCS)、矛盾解决率 (CRR) 和证据灵敏度指数 (ESI)。
引用
@article{arxiv.2603.23848,
title = {BeliefShift: Benchmarking Temporal Belief Consistency and Opinion Drift in LLM Agents},
author = {Praveen Kumar Myakala and Manan Agrawal and Rahul Manche},
journal= {arXiv preprint arXiv:2603.23848},
year = {2026}
}