HydraOpt：导航适配器合并的效率-性能权衡
机器学习
2025-07-24 v1
摘要
大型语言模型(LLMs)常常利用适配器，如低秩适配器，来在下游任务上实现卓越性能。然而，为每个任务存储单独的适配器会显著增加内存需求，给资源受限的环境(如移动设备)带来挑战。尽管模型合并技术可以降低存储成本，但通常会导致显著的性能下降。本文介绍HydraOpt，一种新的模型合并技术，利用低秩适配器矩阵之间固有的相似性。与生产固定存储大小与性能之间权衡的现有方法不同，HydraOpt允许我们在效率与性能的这个光谱中进行导航。我们的实验表明，HydraOpt相比存储所有适配器减少48%的存储空间，同时实现了竞争的性能(0.2-1.8%下降)。此外，它在相同或略差于存储效率下，在性能上超过现有合并技术。
引用
@article{arxiv.2507.17706,
title = {HydraOpt: Navigating the Efficiency-Performance Trade-off of Adapter Merging},
author = {Taha Ceritli and Ondrej Bohdal and Mete Ozay and Jijoong Moon and Kyeng-Hun Lee and Hyeonmok Ko and Umberto Michieli},
journal= {arXiv preprint arXiv:2507.17706},
year = {2025}
}