FISH-Tuning：将 Fisher 信息融入 PEFT 方法以提升性能
计算与语言
2025-05-27 v3
摘要
大型语言模型（LLM）参数规模的快速增长催生了 Parameter-Efficient Fine-Tuning（PEFT）方法，以降低微调的计算成本。其中，Fisher Induced Sparse uncHanging（FISH）掩码是一种基于选择的 PEFT 技术，利用近似 Fisher 信息识别预训练参数中关键子集。虽然 LoRA 和 Adapter 等基于加法或重参数化的 PEFT 方法已经只微调少数参数，但这些方法中新增的参数仍可进一步优化。仅对这些新增参数中最有影响力的部分进行选择性微调，可在保持或提高微调效果的同时进一步降低资源消耗。本文提出了 FISH-Tuning 方法，将 FISH 掩码融入 LoRA、Adapter 及其变体等 PEFT 方法。通过利用 Fisher 信息识别并更新这些新增或重参数化组件中最重要的参数，FISH-Tuning 旨在在不增加训练时间或推理延迟的前提下实现更佳性能。在 various 数据集和预训练模型上的实验结果表明，FISH-Tuning 在使用相同比例可训练参数时始终优于传统 PEFT 方法。代码已公开至 https://anonymous.4open.science/r/FISH-Tuning-6F7C。
引用
@article{arxiv.2504.04050,
title = {FISH-Tuning: Enhancing PEFT Methods with Fisher Information},
author = {Kang Xue and Ming Dong and Xinhui Tu and Tingting He},
journal= {arXiv preprint arXiv:2504.04050},
year = {2025}
}