语言各向异性跨语言模型编辑
计算与语言
2024-07-03 v2
摘要
多语言预训练语言模型可以跨多种语言学习任务特定能力或记忆事实，但不可避免地会对特定输入做出不期望的预测。基于类似观察，模型编辑旨在事后校准模型以针对特定输入，同时保持模型的原始行为。然而，现有工作仅研究单语言场景，缺乏跨语言可迁移性以同时跨语言执行编辑。在本工作中，我们关注跨语言模型编辑。首先，我们定义跨语言模型编辑任务及相应指标，其中在一个语言中的编辑会传播到其他语言。接下来，我们提出一个利用平行语料库将单语言模型编辑方法自然适配到跨语言场景的框架。此外，我们提出语言各向异性编辑（language anisotropic editing），通过为每种语言放大不同的参数子集来改进跨语言编辑。在新定义的跨语言模型编辑任务上，我们实证展示了单语言基线在将编辑传播到多种语言上的失败，以及所提语言各向异性模型编辑的有效性。我们的代码公开于 https://github.com/franklear/LiME。
引用
@article{arxiv.2205.12677,
title = {Language Anisotropic Cross-Lingual Model Editing},
author = {Yang Xu and Yutai Hou and Wanxiang Che and Min Zhang},
journal= {arXiv preprint arXiv:2205.12677},
year = {2024}
}