KS-Lottery: 为多语言语言模型寻找经过认证的中奖彩票
计算与语言
2024-06-04 v2 人工智能
机器学习
摘要
彩票假设认为在随机初始化的神经网络中存在“中奖彩票”。在微调场景下，大语言模型中是否存在中奖彩票？如何找到这样的中奖彩票？本文提出KS-Lottery，一种识别多语言微调中高度有效的LLM参数小子集的方法。关键思想是使用Kolmogorov-Smirnov检验分析微调前后参数的分布偏移。我们进一步理论证明KS-Lottery可以在嵌入层找到经过认证的中奖彩票，对找到的参数进行微调保证能达到与全微调相同的性能。将KS-Lottery与其他参数高效微调算法在翻译任务上进行比较，实验结果表明KS-Lottery找到了更小的参数集进行微调，同时实现了与全微调LLM相当的性能。令人惊讶的是，我们发现微调LLaMA的18个token嵌入就足以达到微调翻译性能。
引用
@article{arxiv.2402.02801,
title = {KS-Lottery: Finding Certified Lottery Tickets for Multilingual Language Models},
author = {Fei Yuan and Chang Ma and Shuai Yuan and Qiushi Sun and Lei Li},
journal= {arXiv preprint arXiv:2402.02801},
year = {2024}
}