OrchMoE：基于任务-技能协同的高效多适配器学习
机器学习
2024-01-22 v1 人工智能
计算与语言
摘要
我们通过新颖的多适配器方法OrchMoE推进了参数高效微调（PEFT）领域，该方法利用模块化技能架构来增强神经网络中的前向迁移。与依赖显式任务识别输入的先前模型不同，OrchMoE自动识别任务类别，从而简化了学习过程。这是通过包含自动任务分类模块和任务-技能分配模块的集成机制实现的，这两个模块共同推导特定任务的分类并定制技能分配矩阵。我们在包含1,600个不同指令任务的'Super Natural Instructions'数据集上进行了广泛评估，结果表明OrchMoE在性能和样本利用效率方面都大幅优于可比的多适配器基线，且所有这些都在相同的参数约束下运行。这些发现表明，OrchMoE在多任务学习效率方面实现了显著飞跃。
引用
@article{arxiv.2401.10559,
title = {OrchMoE: Efficient Multi-Adapter Learning with Task-Skill Synergy},
author = {Haowen Wang and Tao Sun and Kaixiang Ji and Jian Wang and Cong Fan and Jinjie Gu},
journal= {arXiv preprint arXiv:2401.10559},
year = {2024}
}
备注
9 pages, 3 figures