使用大语言模型部署多任务在线服务器

在工业界，许多任务被部署在线。传统方法通常通过各自独立的网络逐一处理每个任务，这导致开发和扩展模型的成本过高，尤其是在大语言模型的背景下。尽管多任务方法可以通过参数共享节省成本，但它们在真实应用中往往难以超越单任务方法。为应对这些挑战，我们提出了一种面向大语言模型的三阶段多任务学习框架。该框架包括任务筛选，随后在高资源任务上进行微调，最后在所有任务上进行微调。我们在单任务和多任务设置中进行了全面的实验。我们的方法在不同基准上的示例表明，它能够在减少高达90.9%的开销的同时，实现与单任务方法相当的性能。