SWEA：通过主语词嵌入修改更新大语言模型中的事实知识
计算与语言
2025-02-18 v4 人工智能
机器学习
摘要
大语言模型的通用能力使其成为各种AI应用的基础设施，但更新其内部知识需要大量资源。最近的模型编辑是一种有前景的技术，用于高效更新LLM中的少量知识，并引起了广泛关注。特别是，直接更新模型参数的局部编辑方法被证明适用于更新少量知识。局部编辑方法通过计算最小二乘闭式解来更新权重，并在推理中通过向量级匹配来识别已编辑的知识，取得了有前景的结果。然而，这些方法仍然需要大量的时间和资源来完成计算。此外，向量级匹配缺乏可靠性，并且此类更新会破坏模型参数的原始组织。为了解决这些问题，我们提出了一种可拆卸且可扩展的主体词嵌入修改框架，该框架通过令牌级匹配找到编辑嵌入，并将其添加到Transformer输入中的主体词嵌入中。为了获得这些编辑嵌入，我们提出了优化然后抑制融合方法，该方法首先为编辑目标优化可学习的嵌入向量，然后抑制知识嵌入维度以获得最终的编辑嵌入。因此，我们提出了SWEA⊕OS方法用于编辑LLM中的事实知识。我们在CounterFact和zsRE数据集上展示了SWEA⊕OS的整体最先进性能。为了进一步验证SWEA⊕OS在编辑知识中的推理能力，我们在更复杂的RippleEdits基准上对其进行了评估。结果表明，SWEA⊕OS具有最先进的推理能力。
引用
@article{arxiv.2401.17809,
title = {SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering},
author = {Xiaopeng Li and Shasha Li and Shezheng Song and Huijun Liu and Bin Ji and Xi Wang and Jun Ma and Jie Yu and Xiaodong Liu and Jing Wang and Weimin Zhang},
journal= {arXiv preprint arXiv:2401.17809},
year = {2025}
}
备注
AAAI25. Our code is available at https://github.com/xpq-tech/SWEA