模型编辑的长形式评估
计算与语言
2024-04-02 v2
摘要
目前对模型编辑的评估仅使用提示后的“接下来几个标记”补全。因此，这些方法对较长自然语言生成的影响在很大程度上是未知的。我们引入了模型编辑的长形式评估（LEME），一种新颖的评估协议，用于衡量模型编辑在长形式生成设置中的有效性和影响。我们的协议包括一个机器评分的调查和一个与人类评分高度相关的分类器。重要的是，我们发现我们的协议与以前的短形式指标几乎没有关系（尽管旨在将有效性、泛化性、局部性和可移植性扩展到长形式设置），表明我们的方法引入了一组新的维度来理解模型编辑方法。使用该协议，我们对多种模型编辑技术进行了基准测试，并提出了几个发现，包括虽然某些方法（ROME和MEMIT）在有限范围内进行一致编辑方面表现良好，但它们比其他方法遭受更多的事实漂移。最后，我们提供了一个定性分析，说明了长形式生成设置中常见的失败模式，包括内部一致性、词汇衔接和局部性问题。
引用
@article{arxiv.2402.09394,
title = {Long-form evaluation of model editing},
author = {Domenic Rosati and Robie Gonzales and Jinkun Chen and Xuemin Yu and Melis Erkan and Yahya Kayani and Satya Deepika Chavatapalli and Frank Rudzicz and Hassan Sajjad},
journal= {arXiv preprint arXiv:2402.09394},
year = {2024}
}