MaCP：基于分层余弦投影的极简而强大的自适应方法
机器学习
2025-08-12 v2 人工智能
摘要
我们提出了一种新的自适应方法 MaCP（Minimal yet Mighty adaptive Cosine Projection，极简而强大的自适应余弦投影），它在微调大型基础模型时仅需极少的参数和内存，即可实现卓越的性能。其基本思想是利用余弦投影出色的能量压缩与去相关特性，同时提升模型的效率与准确率。具体而言，该方法将低秩自适应中的权重变化投影到离散余弦空间。随后，将权重变化在离散余弦谱的不同层级上进行划分，并选取每个划分中最关键的频率分量。大量实验证明了 MaCP 在广泛的单模态任务（包括自然语言理解、自然语言生成、文本摘要）以及多模态任务（如图像分类和视频理解）中的有效性。与现有方法相比，MaCP 始终提供更高的准确率，显著降低了计算复杂度，并具有更低的内存需求。
引用
@article{arxiv.2505.23870,
title = {MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection},
author = {Yixian Shen and Qi Bi and Jia-Hong Huang and Hongyi Zhu and Andy D. Pimentel and Anuj Pathania},
journal= {arXiv preprint arXiv:2505.23870},
year = {2025}
}
备注
This work was intended as a replacement of arXiv:2410.09103 and any subsequent updates will appear there