通过日期控制工具使用测量智能体知识的时间效应
计算与语言
2025-04-04 v2 信息检索
摘要
时间推进是知识积累与更新的重要组成部分。网络搜索常被用作智能体知识的基座,但不恰当的配置会影响智能体响应的质量。在此,我们使用不同的日期控制工具(DCT)作为压力测试来评估大语言模型(LLM)智能体的知识变异性。我们展示了一个使用网络搜索完成科学出版摘要的LLM智能体(写作助手)的时间效应。我们证明搜索引擎的时间性转化为工具依赖的智能体性能,但可通过基础模型选择和显式推理指令(如思维链提示)来缓解。我们的结果表明,智能体设计和评估应采用动态视角,并实施措施以考虑外部资源的时序影响以确保可靠性。
引用
@article{arxiv.2503.04188,
title = {Measuring temporal effects of agent knowledge by date-controlled tool use},
author = {R. Patrick Xian and Qiming Cui and Stefan Bauer and Reza Abbasi-Asl},
journal= {arXiv preprint arXiv:2503.04188},
year = {2025}
}
备注
under review, comments welcome