以勺舀海：我们是否应当编辑模型？
计算与语言
2023-10-19 v1 机器学习
摘要
我们对近期流行的直接模型编辑方法作为纠正大语言模型（LLM）生成中事实错误的一种手段提出质疑。我们将模型编辑与三种相似但目标更明确的方法进行对比：（1）基于检索的架构，其将事实记忆与LLM所体现的预测与语言能力解耦；（2）概念擦除方法，旨在防止生成文本中的系统性偏见；（3）归因方法，旨在将生成内容锚定于已识别的文本来源。我们认为，直接模型编辑不能作为应对LLM固有缺陷的系统性补救手段，尽管其在提升模型可解释性方面已展现出潜力，但它通过强化“模型在事实性上可被信任”的观念而带来风险。我们呼吁在LLM部署过程中审慎地推广与应用模型编辑，并有责任地将LLM的使用场景限制于那些不依赖编辑作为关键组件的场合。
引用
@article{arxiv.2310.11958,
title = {Emptying the Ocean with a Spoon: Should We Edit Models?},
author = {Yuval Pinter and Michael Elhadad},
journal= {arXiv preprint arXiv:2310.11958},
year = {2023}
}
备注
Findings of ACL: EMNLP 2023