BYOM：免费构建你自己的多任务模型
机器学习
2024-02-06 v3 计算与语言
计算机视觉与模式识别
摘要
近来，人们提出了多种合并方法，以在无需重新训练的情况下从特定任务的微调模型构建多任务模型。然而，现有方法相比使用多个特定任务模型存在较大的性能退化。本文中，我们提出将特定任务知识注入合并模型，并设计了两种参数高效的方法（BYOM-FFT 与 BYOM-LoRA）来构建你自己的多任务模型（Build Your Own Multi-task model）。BYOM-FFT 用于合并全微调模型，而 BYOM-LoRA 用于 LoRA 微调模型。两种方法均无需数据且计算高效。在计算机视觉与自然语言处理任务上的大量实验表明，所提出的 BYOM 方法大幅优于现有合并方法。此外，BYOM-FFT 具有通用性，可集成到现有合并方法中以进一步提升性能。
引用
@article{arxiv.2310.01886,
title = {BYOM: Building Your Own Multi-Task Model For Free},
author = {Weisen Jiang and Baijiong Lin and Han Shi and Yu Zhang and Zhenguo Li and James T. Kwok},
journal= {arXiv preprint arXiv:2310.01886},
year = {2024}
}
备注
Technical Report