基于 $\ell_{2,g}$-正则化的高斯图模型自适应主成分分配用于高效大模型微调
机器学习
2024-12-12 v1
摘要
本文提出一种新颖的参数高效微调（PEFT）方法，基于高斯图模型（GGMs），我们于知识中首次将GGMs应用于PEFT任务。该方法利用 范数有效选择关键参数并捕获全局依赖关系。所得非凸优化问题通过块坐标下降（BCD）算法高效求解。在GLUE基准测试[24]上对RoBERTa-Base[18]进行微调的实验结果表明，所提方法有效，仅使用显著更少的可训练参数即可达到与竞争性性能相当。本文代码已公开：https://github.com/jzheng20/Course projects.git。
引用
@article{arxiv.2412.08592,
title = {Adaptive Principal Components Allocation with the $\ell_{2,g}$-regularized Gaussian Graphical Model for Efficient Fine-Tuning Large Models},
author = {Jingjing Zheng and Yankai Cao},
journal= {arXiv preprint arXiv:2412.08592},
year = {2024}
}