面向大型语言模型的高效组合化多任务学习

适配器参数为修改机器学习模型行为提供了一种机制，近年来在大型语言模型（LLMs）和生成式 AI 领域获得了广泛关注。这些参数可以通过合并过程以支持多个任务。然而，目前在大型语言模型中进行合并的工作，特别是在自然语言处理领域，主要局限于每个测试样本仅解决单一任务的场景。本文聚焦于面向移动端的设置，研究基于文本的组合化多任务问题，即每个测试样本同时执行多个任务。例如，生成长文本的翻译摘要需要同时解决翻译和摘要任务。为促进此设定下的研究，我们提出了一个由四个实用相关任务构成的基准。我们还提出了一种高效方法（可学习校准）专为移动端应用设计，强调解决方案需在资源受限的情况下兼具资源效率与高性能。我们的贡献为拓展大型语言模型在实际场景中的多任务能力奠定了基础，使其能够适应复杂且资源受限的实际应用场景。