微调是否是一种有效的解决方案？重新审视非结构化数据的知识编辑
计算与语言
2025-06-12 v1 人工智能
摘要
非结构化知识编辑（UKE）对于更新大语言模型（LLM）的相关知识至关重要。它专注于非结构化输入，如长文本或自由格式文本，这些是现实世界知识的常见形式。尽管先前研究提出了有效方法并进行了测试，但仍存在一些问题：（1）缺乏 UKE 的局部性评估，（2）基于微调（FT）的方法在 UKE 中出现异常失败。为了解决这些问题，我们首先通过从非结构化和结构化视角扩展两个现有 UKE 数据集的局部性测试数据，构建了两个数据集 UnKEBench-Loc 和 AKEW-Loc (CF)。这使得对编辑后模型的局部性进行系统评估成为可能。此外，我们识别了四个可能影响基于微调方法性能的因素。基于这些因素，我们进行了实验，以确定性能良好的基于微调的方法应如何为 UKE 任务进行训练，为未来研究提供了训练方案。我们的实验结果表明，具有最优设置的基于微调的方法（FT-UKE）出奇地强大，超越了现有的最先进方法（SOTA）。在批量编辑场景中，FT-UKE 同样表现出强大的性能，其相对于 SOTA 方法的优势随批量大小的增加而扩大，平均指标领先从 +6.78% 扩大到 +10.80%。
引用
@article{arxiv.2506.09672,
title = {Is Fine-Tuning an Effective Solution? Reassessing Knowledge Editing for Unstructured Data},
author = {Hao Xiong and Chuanyuan Tan and Wenliang Chen},
journal= {arXiv preprint arXiv:2506.09672},
year = {2025}
}