大型语言模型能否跟上？评估在持续知识流中的在线适应能力
计算与语言
2026-03-10 v1
摘要
在动态真实场景中运行的大型语言模型常常遇到持续演变或逐步出现的知识。为了保持准确和有效，模型必须能够即时适应新到达的信息。我们提出「在线适应持续知识流」(Online Adaptation to Continual Knowledge Streams, OAKS) 以评估这一能力，构建了针对在线适应的基准测试，覆盖不断更新的知识流。具体而言，基准测试以一系列细粒度语义块构成，其中在不同时间区间内的事实发生动态变化。OAKS 包含两个数据集：OAKS-BABI 和 OAKS-Novel，其中单个事实在语义块之间多次演变。这些数据集包含密集标注，用于衡量模型是否准确跟踪变化。我们评估了 14 种不同推理方法的模型，发现当前方法存在显著局限。无论是最先进的模型还是代理式记忆系统，都无法在 OAKS 上稳健地进行适应，表现出状态跟踪延迟和在流式环境中易受干扰的现象。
引用
@article{arxiv.2603.07392,
title = {Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams},
author = {Jiyeon Kim and Hyunji Lee and Dylan Zhou and Sue Hyun Park and Seunghyun Yoon and Trung Bui and Franck Dernoncourt and Sungmin Cha and Minjoon Seo},
journal= {arXiv preprint arXiv:2603.07392},
year = {2026}
}