面向多任务学习的参数高效模块可定制组合
机器学习
2023-12-07 v1 人工智能
摘要
模块化与可组合的迁移学习是参数高效微调领域的一个新兴方向，因为它使神经网络能够更好地组织知识的各个方面，从而提升跨任务泛化能力。本文提出了一种新颖的方法——可定制多面体（Customized Polytropon，C-Poly），该方法结合了任务通用技能与任务特定技能，同时利用低秩技术对技能参数进行高度参数化。每个任务关联一个可定制数量的专属专业技能，同时也受益于与同类任务共享的技能。技能分配矩阵通过联合学习得到。为评估所提方法，我们在 Super-NaturalInstructions 和 SuperGLUE 基准上进行了广泛实验。结果表明，C-Poly 优于完全共享、任务特定以及技能不可区分的基线方法，显著提升了多任务学习场景中的样本效率。
引用
@article{arxiv.2312.03248,
title = {Customizable Combination of Parameter-Efficient Modules for Multi-Task Learning},
author = {Haowen Wang and Tao Sun and Cong Fan and Jinjie Gu},
journal= {arXiv preprint arXiv:2312.03248},
year = {2023}
}
备注
22 pages, 9 figures