ColD Fusion：面向分布式多任务微调的协同下降方法
机器学习
2023-09-14 v2 计算与语言
分布式、并行与集群计算
摘要
我们提出了一种持续演化预训练模型的新范式，称为 ColD Fusion。它具备多任务学习的优势，但利用分布式计算且通信有限，并消除了对共享数据的需求。因此，ColD Fusion 可以产生一个协同循环，其中微调后的模型可被回收以持续改进其所基于的预训练模型。我们表明，ColD Fusion 通过生成一个模型来产生与多任务训练相当的好处，该模型 (a) 在其训练过的所有数据集上均取得强劲性能；且 (b) 是面向未知数据集进行微调的更好起点。我们表明 ColD Fusion 优于 RoBERTa 甚至先前的多任务模型。具体而言，当在 35 个多样化数据集上训练和测试时，基于 ColD Fusion 的模型在不改变架构的情况下平均比 RoBERTa 高出 2.33 个点。
引用
@article{arxiv.2212.01378,
title = {ColD Fusion: Collaborative Descent for Distributed Multitask Finetuning},
author = {Shachar Don-Yehiya and Elad Venezian and Colin Raffel and Noam Slonim and Yoav Katz and Leshem Choshen},
journal= {arXiv preprint arXiv:2212.01378},
year = {2023}
}
备注
ACL 23