万物皆可编辑：将知识编辑扩展到大型语言模型中的非结构化数据

最近的知识编辑方法主要关注修改大型语言模型中的结构化知识。然而，这种任务设定忽略了一个事实，即现实世界中的大部分知识以非结构化格式存储，其特点是长文本内容、噪声以及复杂而全面的性质。像MEMIT等先前方法中使用的“局部层键值存储”和“术语驱动优化”等技术，在处理非结构化知识时效果不佳。为了应对这些挑战，我们提出了一种新颖的非结构化知识编辑方法，即UnKE，该方法在层维度和词元维度上扩展了先前的假设。首先，在层维度上，我们提出用非局部块键值存储来替代局部层键值存储，从而增强键值对的表示能力并融入注意力层知识。其次，在词元维度上，我们用“原因驱动优化”取代“术语驱动优化”，该方法在保留上下文的同时直接编辑最后一个词元，从而避免了定位术语的需要并防止了上下文信息的丢失。在新提出的非结构化知识编辑数据集（UnKEBench）和传统结构化数据集上的结果表明，UnKE取得了显著性能，超越了强基线。此外，UnKE具有鲁棒的批量编辑和顺序编辑能力。