Carpe Diem：关于终身语言模型世界知识的评估

在不断变化的世界中，知识的动态特性给基于静态数据训练的语言模型带来了挑战；现实世界中的模型通常不仅需要获取新知识，还需将过时信息覆盖更新为最新信息。为研究语言模型对人类语言中这些时间依赖动态的能力，我们引入了一项新任务 EvolvingQA，这是一个时间演进的问答基准，旨在基于演进的 Wikipedia 数据库训练和评估 LM。EvolvingQA 的构建通过我们使用大语言模型的流程自动完成。我们发现现有的持续学习基线在更新和移除过时知识方面存在困难。我们的分析表明，模型由于权重梯度较小而未能纠正知识。此外，我们阐明语言模型尤其难以反映数值或时间信息的变化。我们的工作旨在建模真实世界信息的动态特性，为语言模型的演进适应性提供忠实评估。