更好的 SAUL：基于生成正则化的流畅且一致的语言模型编辑
计算与语言
2024-10-04 v1 机器学习
摘要
为了确保大型语言模型包含最新知识，需定期更新模型。然而，模型编辑具有挑战性，因为它可能影响与新数据无关的知识。当前方法通过识别特定知识相关的参数并进行直接权重更新来进行编辑，但存在计算开销大且缺乏理论验证的问题。相比之下，直接在请求的编辑上进行微调会影响模型对无关知识的行为，显著损害模型的生成流畅性和一致性。为解决这些挑战，我们提出了 SAUL，这是一种使用句子拼接结合增强随机事实进行生成正则化的简洁模型编辑方法。在三个模型编辑基准测试上的评估表明，SAUL 是一种实用且可靠的模型编辑解决方案，能够在保持生成质量和降低计算开销的同时超越当前最先进的方法。
引用
@article{arxiv.2410.02433,
title = {Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization},
author = {Mingyang Wang and Lukas Lange and Heike Adel and Jannik Strötgen and Hinrich Schütze},
journal= {arXiv preprint arXiv:2410.02433},
year = {2024}
}