DocTER：基于文档的知识编辑评测

知识编辑旨在修正神经网络中过时或不准确的知识。本文中，我们探索使用易于获取的文档而非早期研究中采用的人工标注事实三元组来进行知识编辑。为推动该领域发展，我们建立了首个评测基准 \textit{DocTER}，其包含用于编辑的反事实知识文档。我们引入了从四个角度的综合评测：编辑成功率、局部性、推理能力与跨语言迁移。为使传统的三元组知识编辑方法适配此任务，我们开发了 Extract-then-Edit 流程，在应用现有方法前先从文档中抽取三元组。在流行知识编辑方法上的实验表明，基于文档的编辑比使用三元组更具挑战性。在基于文档的场景中，即便表现最佳的上下文编辑方法，在编辑成功率上仍落后使用黄金三元组 10 个百分点。该现象在推理与跨语言测试集上同样成立。我们进一步分析了影响任务性能的关键因素，包括抽取三元组的质量、文档中编辑知识的出现频率与位置、增强推理的多种方法，以及跨语言知识编辑中不同方向上的性能差异，为未来研究提供了有价值的见解。