SineLoRA$\Delta$：正弦激活的增量压缩

资源受限的权重部署是一项具有巨大实际重要性的任务。近期，人们对 Delta Compression 这一特定任务产生了兴趣，在该任务中，各方各自持有一个共同的基础模型，且仅通信压缩后的权重更新。然而，诸如低秩适配（LoRA）等流行的参数高效更新方法面临固有的表示局限性——当与激进的量化结合使用时尤为明显。为克服此问题，我们基于近期通过使用固定频率正弦函数在不增加额外参数的情况下提高稳定秩以改善 LoRA 表示能力的研究。我们将其扩展至量化设置，并提出了首个理论分析，展示稳定秩在量化下如何演化。基于此，我们引入了 SineLoRA$\Delta$，一种原则性强且有效的增量压缩方法，通过应用正弦激活来提高量化低秩适配器的表达能力。我们在包括语言建模、视觉-语言任务和文本到图像生成在内的多种领域验证了 SineLoRA$\Delta$，在性能相似的情况下实现了高达 66% 的内存减少。我们还提供了规范的 Bj{\o}ntegaard Delta 指标的新颖应用，以在率失真曲线上一致地比较适配器压缩变化。