BoRA：贝叶斯层次低秩适配器用于多任务大语言模型

本文介绍了贝叶斯层次低秩适配器（BoRA），是一种用于多任务大语言模型（LLM）的新颖方法。当前微调方法，如低秩适配器（LoRA），在减少训练参数和内存占用方面表现卓越，但在应用于多个相似任务时面临局限。实践者通常必须在为每个任务训练独立模型或为所有任务训练单一模型之间做出选择，两者都在专业化和数据利用方面存在取舍。BoRA 通过利用贝叶斯层次模型，使任务能够通过全局层次先验共享信息，从而克服了这些取舍。这使拥有有限数据的任务能够从相关任务中导出的整体结构中获益，同时允许数据较多的任务进行专业化。我们的实验结果表明，BoRA 在降低困惑度方面以及在任务间的泛化能力方面，均优于单独模型和统一模型方法。该方法为多任务 LLM 微调提供了可扩展且高效的解决方案，在实际应用中具有重要意义。