符号胜于浮点：低秩双二进制适配用于设备端微调
机器学习
2026-05-26 v1 人工智能
摘要
设备端大语言模型适配通常保持量化基础模型冻结，训练和部署小型、任务特定的 LoRA 适配器。然而，在未合并适配器模式下，适配器不仅是�凑存储模块，还引入额外的稠密浮点分支，维护用于本地更新的可训练状态，充当通信和热交换单元。我们提出 LoRDBA，即一种 LoRA 兼容适配器，将两个低秩因子替换为二进制符号载体，同时通过轻量级、通道级尺度表示幅度，将稠密适配器分支转换为两个符号累积矩阵乘法，交替进行通道级缩放。有限样本分析表明，重构质量由原始 LoRA 因子的残差-幅度比决定。在适配器模式实验中，LoRDBA 在匹配模型大小的低位基准方案中表现更佳，在选定 regime 下匹配 fp16 LoRA 质量。未合并适配器在匹配秩 r=16 时最多增加 8% 的预填延迟，尽管适配器占用降低了 10 倍以上，训练内存开销仅为 fp16 LoRA 的约 1.6 倍。
引用
@article{arxiv.2605.24058,
title = {Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning},
author = {Yoshihiko Fujisawa and Yuma Ichikawa and Yudai Fujimoto and Akira Sakai and Katsuki Fujisawa},
journal= {arXiv preprint arXiv:2605.24058},
year = {2026}
}
备注
34 pages, 3 figures