基于 Hessian 信息的自适应参数高效微调
机器学习
2025-05-20 v1
摘要
参数高效微调 (PEFT) 是一种针对最小计算开销适配大规模预训练模型到下游任务的高效方法。其核心在于冻结大多数参数，仅训练少量子集（例如少于总参数的 0.1%）。值得注意的是，不同的 PEFT 方法选择不同的子集，导致性能差异。这引发关键问题：如何有效选择最具影响力的子集进行训练？我们将子集选择问题形式化为一个多任务问题：最大化性能与最小化可训练参数的数量。我们利用一系列变换——包括 约束法和二阶 Taylor 近似——最终得到经典的 0-1 背包问题，并通过帕累托最优性的视角进行求解。因此，我们提出了 AdaPEFT，这是一种受 Hessian 信息启发的参数高效微调方法，能够适应各种任务和模型，其中选定的子集在训练期间和模型规模之间具有实际的跨迁移能力。
引用
@article{arxiv.2505.12579,
title = {Adaptive parameter-efficient fine-tuning via Hessian-informed subset selection},
author = {Shiyun Xu and Zhiqi Bu},
journal= {arXiv preprint arXiv:2505.12579},
year = {2025}
}
备注
Equal contribution