面向多语言知识编辑的神经掩码低秩适应方法——MEMLA
计算与语言
2024-10-07 v3 计算机与社会
摘要
知识编辑旨在调整大型语言模型（LLM）内部的知识，以防止其响应过时或不准确。然而，现有知识编辑工作主要在单一语言中进行，这对于多语言语言模型来说不够。本文聚焦于多语言知识编辑（MKE），该任务需要在多个语言之间传播更新。这一需求为该任务带来了显著挑战。此外，现有MKE缺乏全面数据集，这加剧了这一挑战。因此，我们引入了多语言知识编辑基准（MKEB），一个包含12种语言并提供完整评估框架的新型数据集。此外，我们提出了一种增强多语言知识编辑的神经掩码低秩适应方法（MEMLA）。具体而言，我们识别了两种知识神经元类别，以提高编辑精度。我们采用LoRA进行编辑并配合神经掩码，以高效修改参数并促进跨语言更新的传播。实验表明，我们的方法优于现有基线，显著提升了编辑后模型的多跳推理能力，同时对下游任务性能影响最小。该数据集和代码将公开发布。
引用
@article{arxiv.2406.11565,
title = {Extrinsic Evaluation of Cultural Competence in Large Language Models},
author = {Shaily Bhatt and Fernando Diaz},
journal= {arXiv preprint arXiv:2406.11565},
year = {2024}
}
备注
Accepted to EMNLP Findings 2024