AKEW：野外知识编辑评估

知识编辑将知识更新注入语言模型，以保持其正确性和时效性。然而，当前的评估与实际情况存在显著偏差：其知识更新仅由精心构建的数据集中的结构化事实组成，而非实际来源（如新闻文章等非结构化文本），并且常常忽略实际世界中的知识更新。为解决这些问题，本文提出了AKEW（野外知识编辑评估），一种新的实用知识编辑基准。AKEW全面覆盖了知识更新的三种编辑场景：结构化事实、作为事实的非结构化文本以及提取的三元组。它进一步引入了包含反事实和实际世界知识更新的新数据集。通过大量实验，我们展示了最先进的知识编辑方法与实际场景之间的显著差距。我们的分析进一步强调了关键见解，以激励未来对实用知识编辑的研究。