“为什么”类问题对模型编辑的副作用最小
计算与语言
2024-09-30 v1
摘要
从头训练大语言模型（LLMs）是一项昂贵的工程，尤其是随着世界知识的不断演进。为了保持LLMs的相关性和准确性，模型编辑已成为一个关键的研究领域。尽管这些方法具有前景，但它们也可能产生意外的副作用。其潜在因素和原因在很大程度上仍未被探索。本文通过将模型编辑问题进行分类，深入探讨了一个关键因素——问题类型。我们的发现表明，不同问题类型的性能下降程度存在显著差异，为知识编辑的实验设计提供了新见解。此外，我们研究了来自较小模型的见解是否可以外推到较大模型。结果表明，不同规模模型之间的发现存在差异，这意味着较小模型的见解未必适用于较大模型。另外，我们考察了批大小对副作用的影响，发现增大批大小可以缓解性能下降。
引用
@article{arxiv.2409.18679,
title = {"Why" Has the Least Side Effect on Model Editing},
author = {Tsung-Hsuan Pan and Chung-Chi Chen and Hen-Hsen Huang and Hsin-Hsi Chen},
journal= {arXiv preprint arXiv:2409.18679},
year = {2024}
}