DeFTX：用于零样本跨语言迁移的去噪稀疏微调
计算与语言
2025-05-22 v1 人工智能
机器学习
摘要
有效的跨语言迁移仍然是将大语言模型的优势从高资源语言扩展到低资源语言的关键挑战。为实现这一目标，先前的研究探索了许多方法，将来自（高资源）源语言任务特定数据的任务知识与来自（低资源）目标语言未标记文本的语言知识相结合。一种值得注意的方法提出了用于跨语言迁移的可组合稀疏微调（SFT），该方法学习任务特定和语言特定的稀疏掩码，以选择预训练模型参数的子集进行进一步微调。这些稀疏微调向量（SFT）随后与预训练模型组合，仅使用源语言的任务特定数据，促进对目标任务语言的零样本跨语言迁移。这些用于SFT的稀疏掩码是通过简单的基于幅度的剪枝来识别的。在我们的工作中，我们引入了DeFT-X，一种新颖的可组合SFT方法，该方法在幅度剪枝之前使用奇异值分解对预训练模型的权重矩阵进行去噪，从而产生更稳健的SFT。我们在多种极度低资源语言上评估了DeFT-X，用于情感分类（NusaX）和自然语言推理（AmericasNLI），并证明其性能与SFT和其他著名的跨语言迁移基线相当或更优。
引用
@article{arxiv.2505.15090,
title = {DeFTX: Denoised Sparse Fine-Tuning for Zero-Shot Cross-Lingual Transfer},
author = {Sona Elza Simon and Preethi Jyothi},
journal= {arXiv preprint arXiv:2505.15090},
year = {2025}
}