WikiBigEdit：理解大语言模型中终身知识编辑的极限
计算与语言
2025-09-23 v2 机器学习
摘要
保持大语言模型事实的时效性对于其部署至关重要，然而昂贵的重新训练仍是一项挑战。知识编辑提供了一种有前景的替代方案，但现有方法仅在小型或合成编辑基准上进行测试。在本工作中，我们旨在将终身知识编辑的研究桥接至具有实际应用规模的真实世界编辑。我们首先引入了 WikiBigEdit；这是一个基于真实世界 Wikidata 编辑的大规模基准，其构建旨在自动扩展以实现面向未来的基准测试。在其首个实例中，它包含超过 50 万个用于知识编辑的问答对以及一套全面的评估流程。最后，我们使用 WikiBigEdit 来研究现有知识编辑技术吸收大量真实世界事实的能力，并将其能力与检索增强和持续微调等通用修改技术进行对比，以全面了解当前终身知识编辑的实际限度。
引用
@article{arxiv.2503.05683,
title = {WikiBigEdit: Understanding the Limits of Lifelong Knowledge Editing in LLMs},
author = {Lukas Thede and Karsten Roth and Matthias Bethge and Zeynep Akata and Tom Hartvigsen},
journal= {arXiv preprint arXiv:2503.05683},
year = {2025}
}
备注
published at ICML 2025