评估跨语言忘却在多语言语言模型中的表现
计算与语言
2026-01-13 v1
摘要
我们首次对跨语言忘却在多语言大语言模型（LLM）中的表现进行全面评估。使用七种语言/脚本变体的翻译版TOFU基准测试，我们测试了主要的忘却算法，发现大多数算法即使在保持高效能的同时，也无法有效删除训练语言之外的事实。然而，子空间投影方法在其他方法中 consistently 取得了出色的跨语言忘却成绩，同时对性能影响最小。对学习任务子空间的分析揭示了共享的interlingua结构：删除该共享子空间会损害所有语言，而删除特定于语言的成分则仅影响单一语言。这些结果表明，多语言忘却依赖于权重空间中的几何结构，动机了面向未来忘却系统的基于子空间的方法。
引用
@article{arxiv.2601.06675,
title = {Evaluating Cross-Lingual Unlearning in Multilingual Language Models},
author = {Tyler Lizzo and Larry Heck},
journal= {arXiv preprint arXiv:2601.06675},
year = {2026}
}