ScEdit: 基于脚本的知识编辑评估
计算与语言
2025-06-03 v2
摘要
知识编辑 (KE) 受到越来越多的关注，但当前的 KE 任务仍相对简单。在当前评估框架下，许多编辑方法获得了极高的分数，有时甚至接近完美。然而，很少有研究将 KE 集成到真实应用场景中（例如，近期对 LLM-as-agent 的关注）。为支持我们的分析，我们引入了一种新颖的基于脚本的基准——ScEdit (基于脚本的知识编辑基准)——其中包含反事实编辑和时序编辑。我们整合了 token 级和文本级评估方法，全面分析了现有的 KE 技术。该基准将传统的基于事实的（“What”类问题）评估扩展为基于动作的（“How”类问题）评估。我们观察到，所有 KE 方法在既有指标上的性能均有所下降，并在文本级指标上面临挑战，表明这是一项具有挑战性的任务。我们的基准可在 https://github.com/asdfo123/ScEdit 获取。
关键词
引用
@article{arxiv.2505.23291,
title = {ScEdit: Script-based Assessment of Knowledge Editing},
author = {Xinye Li and Zunwen Zheng and Qian Zhang and Dekai Zhuang and Jiabao Kang and Liyan Xu and Qingbin Liu and Xi Chen and Zhiying Tu and Dianhui Chu and Dianbo Sui},
journal= {arXiv preprint arXiv:2505.23291},
year = {2025}
}
备注
ACL 2025 Findings