基于 HooK 层的连续批量模型编辑
计算与语言
2024-10-14 v3
摘要
由于典型的重新训练范式在时间和资源消耗上令人难以接受，研究人员正转向模型编辑，以寻找一种有效的方法，支持连续和批量场景来直接编辑模型行为。尽管有这些实际期望，现有的模型编辑方法未能实现所有目标。此外，此类序列模型编辑方法的内存需求往往高得令人望而却步，通常需要随时间增量增长的外部内存。为应对这些挑战，我们提出了 CoachHooK，一种同时支持序列和批量编辑的模型编辑方法。CoachHooK 对内存友好，因为它仅需少量内存来存储几个大小随时间保持不变的 hook 层。实验结果表明，在单轮和连续批量编辑场景下，我们的方法优于其他支持批量的模型编辑方法。我们对 CoachHooK 进行了广泛分析，以验证该方法在多个连续步骤中的稳定性。
引用
@article{arxiv.2403.05330,
title = {Consecutive Batch Model Editing with HooK Layers},
author = {Shuaiyi Li and Yang Deng and Deng Cai and Hongyuan Lu and Liang Chen and Wai Lam},
journal= {arXiv preprint arXiv:2403.05330},
year = {2024}
}
备注
To appear in EMNLP 2024 Main