无导数权空间集成
计算与语言
2023-07-27 v2 人工智能
摘要
近期工作表明，在两个专用语言模型的权重间进行插值，能以多任务学习无法实现的方式在任务间迁移知识。然而，极少有探索超过两个模型（每个具有不同知识库）间的插值。本文中，我们引入无导数权空间集成（Derivative Free Weight-space Ensembling, DFWE），一种用于开放域对话的少样本任务迁移方法。我们的框架创建一组使用预定义源任务集训练的多样化专家语言模型。接着，我们在目标任务上微调每个专家模型，从若干不同知识库逼近目标任务。最后，我们使用无梯度优化算法在模型权重间线性插值，以高效找到良好的插值权重。我们在FETA-Friends上展示了该方法的有效性，优于标准预训练-微调方法。
引用
@article{arxiv.2307.03506,
title = {Derivative Free Weight-space Ensembling},
author = {Dean Ninalga},
journal= {arXiv preprint arXiv:2307.03506},
year = {2023}
}
备注
For consideration at the 5th Workshop on NLP for Conversational AI (co-located with ACL 2023)