Transformer 中基于注意力的记忆批量编辑：知识的跨语言探索
计算与语言
2025-02-05 v1 人工智能
摘要
近期的研究探索了更新和修改大语言模型中事实知识的方法，通常聚焦于特定的多层感知机块。本研究在此基础上扩展，考察了现有知识编辑方法跨语言的有效性，并深入探讨了注意力机制在此过程中的作用。基于所获得的见解，我们提出了 Transformer 中基于注意力的记忆批量编辑（MEMAT），该方法在所有指标上均取得了显著改进，同时仅需极少的参数修改。MEMAT 实现了 10% 的幅度指标提升，使未包含在训练数据中的语言受益，并展现出高度的移植性。我们的代码和数据位于 https://github.com/dtamayo-nlp/MEMAT。
引用
@article{arxiv.2502.02173,
title = {Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge},
author = {Daniel Tamayo and Aitor Gonzalez-Agirre and Javier Hernando and Marta Villegas},
journal= {arXiv preprint arXiv:2502.02173},
year = {2025}
}