AdaFish：利用二阶信息实现快速低秩参数高效微调
机器学习
2024-03-21 v1
摘要
大规模预训练模型的最新进展显著提升了自然语言处理和计算机视觉中各种任务的性能。然而，这些模型中庞大的参数数量使得全量训练需要大量的内存和计算资源。为了将这些模型适配于下游任务或特定应用导向的数据集，利用预训练参数的参数高效微调方法引起了广泛关注。然而，由于参数众多且训练周期长，该方法仍可能十分耗时。在本工作中，我们提出了 AdaFish，一种二阶类型的高效算法，旨在加速基于低秩分解的微调框架中的训练过程。我们的关键观察是，相关的广义 Fisher 信息矩阵呈低秩或极小尺度。我们证明了该广义 Fisher 信息矩阵等价于 Hessian 矩阵。此外，我们证明了 AdaFish 的全局收敛性及其迭代/预言机复杂度。数值实验表明，我们的算法与 SOTA AdamW 方法极具竞争力。
引用
@article{arxiv.2403.13128,
title = {AdaFish: Fast low-rank parameter-efficient fine-tuning by using second-order information},
author = {Jiang Hu and Quanzheng Li},
journal= {arXiv preprint arXiv:2403.13128},
year = {2024}
}