基于语言无关事实神经元的多语言知识编辑
计算与语言
2024-12-18 v2
摘要
多语言知识编辑（MKE）旨在同时更新大型语言模型（LLM）中跨多语言的事实知识。先前的研究表明，LLM 中不同语言的相同知识具有一定的可共享性。然而，大多数现有 MKE 方法忽略了不同语言之间相同知识的关联，导致知识冲突并限制编辑性能。为此，我们首先研究了 LLM 如何处理多语言事实知识，发现不同语言的相同事实知识通常会激活一组共享神经元，我们称为语言无关事实神经元（LAFNs）。这些神经元代表了跨语言共享的相同事实知识，暗示了多语言知识之间的语义联系。灵感来自这一发现，我们提出了一种新的 MKE 方法，通过定位和更新语言无关事实神经元（LU-LAFNs）来实现多语言知识的同步编辑，从而避免知识冲突并提高编辑性能。在 Bi-ZsRE 和 MzsRE 数据集上的实验结果表明，我们的方法实现了最佳的编辑性能，表明了建模多语言知识语义联系的有效性与重要性。
引用
@article{arxiv.2406.16416,
title = {Multilingual Knowledge Editing with Language-Agnostic Factual Neurons},
author = {Xue Zhang and Yunlong Liang and Fandong Meng and Songming Zhang and Yufeng Chen and Jinan Xu and Jie Zhou},
journal= {arXiv preprint arXiv:2406.16416},
year = {2024}
}
备注
COLING 2025 (14 pages, 3 figures, 12 tables)