MPN：利用多语言补丁神经元进行跨语言模型编辑
计算与语言
2024-01-09 v1 人工智能
计算机视觉与模式识别
摘要
大型语言模型以编码大量事实知识而闻名，但由于外部信息的不断变化，它们往往会过时。应对这一挑战的一个有前景的解决方案是利用模型编辑方法来高效地更新知识。然而，现有的大多数模型编辑技术仅限于单语言框架，因此无法解决多语言模型的跨语言知识同步这一关键问题。为了解决这个问题，我们提出了一种简单而有效的方法，即训练多语言补丁神经元来存储跨语言知识。该方法可以轻松适配现有方法，以增强其跨语言编辑能力。为了评估我们的方法，我们使用 XNLI 数据集和自建的 XFEVER 数据集进行了实验。实验结果表明，我们提出的方法在跨语言编辑任务中实现了性能提升，且无需对原始方法进行过度修改，从而展示了其用户友好的特性。代码即将发布。
引用
@article{arxiv.2401.03190,
title = {MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing},
author = {Nianwen Si and Hao Zhang and Weiqiang Zhang},
journal= {arXiv preprint arXiv:2401.03190},
year = {2024}
}
备注
Work in progress