彩票适配：减轻大语言模型中的破坏性干扰
计算与语言
2024-06-26 v2 人工智能
摘要
现有的将大语言模型(LLM)适应新任务的方法不适合多任务适应，因为它们修改了所有模型权重——导致任务之间的破坏性干扰。由此产生的效果，例如对早期任务的灾难性遗忘，使得同时获得多个任务的良好性能变得具有挑战性。为了缓解这个问题，我们提出了彩票适配(LoTA)，一种稀疏适应方法，它识别并仅优化模型的稀疏子网络。我们在广泛具有挑战性的任务上评估了LoTA，例如指令遵循、推理、数学和摘要。LoTA获得了比全微调和低秩适应(LoRA)更好的性能，并且在其他任务上训练后仍能保持良好的性能——从而避免了灾难性遗忘。通过提取和微调彩票（或稀疏任务向量），LoTA还使得在高度不同的任务上进行模型合并成为可能。我们的代码已在https://github.com/kiddyboots216/lottery-ticket-adaptation公开。
引用
@article{arxiv.2406.16797,
title = {Lottery Ticket Adaptation: Mitigating Destructive Interference in LLMs},
author = {Ashwinee Panda and Berivan Isik and Xiangyu Qi and Sanmi Koyejo and Tsachy Weissman and Prateek Mittal},
journal= {arXiv preprint arXiv:2406.16797},
year = {2024}
}