面向持续预训练的可回收微调
计算与语言
2023-05-16 v1 人工智能
摘要
持续预训练是一种范式，其中预训练语言模型（PLMs）持续从不断增长的数据中获取新知识并逐步升级。在发布升级后的 PLM 之前，我们可能已为各种任务微调了原始 PLM 并存储了适配权重。然而，在微调升级后的 PLM 时，这些过时的适配权重通常会被忽略和丢弃，造成潜在的资源浪费。我们将此问题置于前沿，并主张应开发用于回收过时适配权重的恰当算法。为此，我们形式化了面向持续预训练的可回收微调任务。在初步研究中，我们发现持续预训练后，升级后的 PLM 在某种程度上仍与过时的适配权重兼容。受此发现启发，我们从两个新颖角度（即模式连通性与功能相似性）分析了持续预训练的 PLM 之间的联系。基于相应发现，我们针对该任务提出了一种基于初始化的方法和一种基于蒸馏的方法。我们证明了它们在改善升级后 PLM 微调的收敛性与性能方面的可行性。我们还表明两种方法可结合以取得更好性能。源代码公开于 https://github.com/thunlp/RecyclableTuning。
引用
@article{arxiv.2305.08702,
title = {Recyclable Tuning for Continual Pre-training},
author = {Yujia Qin and Cheng Qian and Xu Han and Yankai Lin and Huadong Wang and Ruobing Xie and Zhiyuan Liu and Maosong Sun and Jie Zhou},
journal= {arXiv preprint arXiv:2305.08702},
year = {2023}
}
备注
Findings of ACL 2023