面向大型语言模型的在线持续适配器合并：K-Merge 方法

大型语言模型(LLM)的设备端部署经常利用低秩适配器(LoRAs)在紧张资源约束下支持多样化下游任务。为解决移动设备存储容量有限的问题，近期研究探索了模型合并技术，将多个 LoRAs 融合为一个。然而，实际情况下，LoRAs 常被incremental地提供，因为用户会请求支持新任务(如新问题类型或新语言)。这种情况下引入新挑战：设备端在线持续合并，即目标是在新增适配器的同时保持对先前支持任务的性能。在本文中，我们提出了一种针对新适配器可用时选择和合并 LoRAs 的数据免费且计算高效的策略，假设设备只能存储有限数量的适配器。广泛的实验在真实任务上表明，我们的方法在遵守设备端设置的存储预算和计算限制下，优于其他策略。