MaCP：通过层次余弦投影实现最小且强大的适应
机器学习
2025-08-12 v2 人工智能
摘要
我们提出了一种新的适应方法MaCP（Minimal yet Mighty adaptive Cosine Projection），在微调大型基础模型时实现卓越性能，同时所需参数和内存极少。其核心思想是利用余弦投影的优异能量压缩和解相关特性，提高模型的效率和准确性。具体而言，MaCP将来自低秩适应的权重变化投影到离散余弦空间中。然后，权重变化在离散余弦谱的不同层面上进行分区，每一分区最关键的频率分量被选中。大量实验表明，MaCP在广泛的单模态任务上均表现出色，包括自然语言理解、自然语言生成、文本摘要，以及多模态任务如图像分类和视频理解。MaCP在准确率、计算复杂度和内存要求方面均显著优于现有方法。
引用
@article{arxiv.2410.09103,
title = {MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection},
author = {Yixian Shen and Qi Bi and Jia-Hong Huang and Hongyi Zhu and Andy D. Pimentel and Anuj Pathania},
journal= {arXiv preprint arXiv:2410.09103},
year = {2025}
}
备注
17 pages; Previously this version appeared as arXiv:2505.23870 which was submitted as a new work by accident