重建 ROME：解决顺序模型编辑期间的模型崩溃
计算与语言
2024-10-10 v3 人工智能
摘要
最近使用秩一模型编辑（ROME，一种流行的模型编辑方法）的工作表明，存在某些事实，算法在不破坏模型的情况下无法对其进行编辑。此类编辑此前被称为禁用编辑（disabling edits）。这些禁用编辑会导致 immediate 模型崩溃，并限制了 ROME 在顺序编辑中的使用。在本文中，我们表明禁用编辑是 ROME 实现中不规则性的人为产物。通过本文，我们提供了一种更稳定的 ROME 实现，称为 r-ROME，并表明在使用 r-ROME 进行大规模顺序编辑时不再观察到模型崩溃，同时与 ROME 的原始实现相比，进一步提高了模型编辑的泛化性和局部性。我们还提供了禁用编辑背后原因的详细数学解释。
引用
@article{arxiv.2403.07175,
title = {Rebuilding ROME : Resolving Model Collapse during Sequential Model Editing},
author = {Akshat Gupta and Sidharth Baskaran and Gopala Anumanchipalli},
journal= {arXiv preprint arXiv:2403.07175},
year = {2024}
}
备注
EMNLP 2024 (Main)