大语言模型中组合式多任务的在设备系统

大语言模型（LLMs）通常通过参数高效微调技术（如低秩适配器 LoRA）适配于多样化的下游任务。虽然适配器可以组合以分别处理多个任务，但标准方法在针对复杂任务的同时执行时面临挑战，例如从长对话中生成翻译摘要。为应对这一挑战，我们提出了一种专门针对涉及摘要和翻译的组合式多任务场景的新型方法。我们的技术涉及在组合的摘要和翻译适配器之上添加一个可学习的投影层。该设计实现了有效集成，同时通过减少计算开销来保持效率——相较于需要广泛重新训练或顺序处理的替代策略。我们通过在设备环境中开发一个能够无缝执行组合任务的 Android 应用程序，展示了方法的实际可行性。实验结果表明，我们的解决方案在基于云和在设备实现中均表现良好且快速，突显了在要求高速运行且受资源限制的真实应用中采用我们框架的潜在益处。