多语言失忆：多语言大语言模型中遗忘的可迁移性研究
计算与语言
2026-01-12 v1 机器学习
摘要
随着多语言大语言模型的使用越来越广泛，确保其在多样化语言环境中的安全性和公平性带来了独特的挑战。虽然现有的机器遗忘研究主要集中在单语环境（通常是英语），但多语言环境由于跨语言知识迁移以及预训练和微调数据中嵌入的偏见而引入了额外的复杂性。在这项工作中，我们使用 Aya-Expanse 8B 模型在两种设置下研究多语言遗忘：（1）数据遗忘和（2）概念遗忘。我们通过翻译将事实知识和刻板印象的基准扩展到十种语言：英语、法语、阿拉伯语、日语、俄语、波斯语、韩语、印地语、希伯来语和印度尼西亚语。这些语言跨越五个语系和广泛的资源水平。我们的实验表明，高资源语言中的遗忘通常更稳定，并且在类型学相关的语言之间观察到不对称的迁移效应。此外，我们对语言距离的分析表明，句法相似性是跨语言遗忘行为的最强预测因子。
引用
@article{arxiv.2601.05641,
title = {Multilingual Amnesia: On the Transferability of Unlearning in Multilingual LLMs},
author = {Alireza Dehghanpour Farashah and Aditi Khandelwal and Marylou Fauchard and Zhuan Shi and Negar Rostamzadeh and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2601.05641},
year = {2026}
}