WaRA：小波低秩适配
计算机视觉与模式识别
2026-03-17 v2 图像与视频处理
摘要
适用于医学图像分类的大型预训练视觉模型常受限于内存、计算资源和任务特定需求。类似LoRA等参数高效微调（PEFT）方法通过学习低秩更新来降低成本，但直接在特征空间操作可能难以捕获医学成像中常见的局部、多尺度特征。我们提出WaRA，一种基于小波结构的适配模块，在小波域内执行低秩适配。WaRA将patch token重塑为空间网格，应用固定离散小波变换，在共享低秩适配器上更新子带系数，通过逆小波变换重构加性更新。该设计提供紧凑的可训练接口，同时将更新偏向粗结构和细节。对于极端低资源场景，我们引入Tiny-WaRA，通过对预训练权重经截断SVD得到的固定基底中学习仅少量系数来进一步减少可训练参数。在医学图像分类四个模态和数据集上的实验表明，WaRA在多个强大的PEFT基准上 consistently 均实现性能提升，同时保持良好的效率配置。我们的代码已公开于GitHub。
引用
@article{arxiv.2506.24092,
title = {WaRA: Wavelet Low Rank Adaptation},
author = {Moein Heidari and Yijin Huang and Yasamin Medghalchi and Alireza Rafiee and Roger Tam and Ilker Hacihaliloglu},
journal= {arXiv preprint arXiv:2506.24092},
year = {2026}
}