传播与陷阱：通过反事实任务对知识编辑进行基于推理的评估

当前的知识编辑方法难以将更新有效地传播到相互关联的事实中。在这项工作中，我们深入探讨了阻碍这些模型中更新知识适当传播以进行准确推理的障碍。为了支持我们的分析，我们引入了一个新颖的基于推理的基准——ReCoE（Reasoning-based Counterfactual Editing dataset）——它涵盖了现实世界中的六种常见推理方案。我们对现有的知识编辑技术进行了全面分析，包括输入增广、微调和定位编辑。我们发现所有模型编辑方法在该数据集上的性能都很低，尤其是在某些推理方案中。我们对编辑模型的思维链生成过程进行了进一步分析，从推理角度揭示了现有知识编辑方法不充分的关键原因，涉及事实编辑、事实回忆能力和生成连贯性等方面。我们将公开我们的基准。