GenFT：一种用于预训练基础模型的生成式参数高效微调方法
机器学习
2025-06-16 v1
摘要
预训练基础模型（PFM）通过实现对定制任务的高效适配，已变革了众多应用。参数高效微调（PEFT）已成为一种资源高效的完全微调替代方案，尤其利用重参数化权重 来适配下游任务模型。然而，一个关键但尚未充分探索的问题依然存在：能否利用预训练良好的权重 来指导任务特定 的更新，避免从头低效训练？为此，我们提出生成式参数高效微调（GenFT），一种从 中提取结构化、可迁移信息以实现高效 训练的新方法。为提取行与列结构信息，GenFT 应用行与列变换从 中蒸馏出关键模式。定制策略进一步将 分解为层共享与层特定组件，以平衡信息复用与个性化灵活性。GenFT 简单而有效，在 CV 与 NLP 任务上均取得卓越性能。在 VTAB-1K、FGVC 与 GLUE 基准上的大量实验表明，GenFT 优于最先进的 PEFT 方法，为高效模型适配提供了新视角。
引用
@article{arxiv.2506.11042,
title = {GenFT: A Generative Parameter-Efficient Fine-Tuning Method for Pretrained Foundation Models},
author = {Baoquan Zhang and Guangning Xu and Michael. K. Ng},
journal= {arXiv preprint arXiv:2506.11042},
year = {2025}
}