PMET：Transformer 中的精确模型编辑
计算与语言
2024-03-12 v6 人工智能
机器学习
摘要
模型编辑技术以较低成本修改大语言模型（LLMs）中极小比例的知识，已展现出显著成效。现有方法假设 Transformer 层（TL）隐状态是前馈网络（FFN）键值记忆的值，通常优化 TL 隐状态以记忆目标知识，并用以更新 LLMs 中 FFN 的权重。然而，TL 隐状态的信息流来自三部分：多头自注意力（MHSA）、FFN 与残差连接。现有方法忽视了 TL 隐状态包含并非 FFN 所需特定信息的事实，导致模型编辑性能下降。为实现更精确的模型编辑，我们分析 MHSA 与 FFN 的隐状态，发现 MHSA 编码了特定的通用知识提取模式，这意味着引入新知识时无需更新 MHSA 权重。基于上述发现，我们提出 PMET，其同时优化 Transformer 组件（TC，即 MHSA 与 FFN）隐状态，但仅使用 FFN 的优化后 TC 隐状态精确更新 FFN 权重。我们的实验表明，PMET 在 COUNTERFACT 与 zsRE 数据集上均展现出最优性能。消融实验证实了我们所做改进的有效性，进一步强化了 MHSA 编码特定通用知识提取模式的发现，并表明其存储了少量事实性知识。我们的代码见 https://github.com/xpq-tech/PMET。
引用
@article{arxiv.2308.08742,
title = {PMET: Precise Model Editing in a Transformer},
author = {Xiaopeng Li and Shasha Li and Shezheng Song and Jing Yang and Jun Ma and Jie Yu},
journal= {arXiv preprint arXiv:2308.08742},
year = {2024}
}
备注
AAAI24