PEANuT：基于权重感知神经微调器的参数高效适配
机器学习
2025-11-25 v3 计算与语言
摘要
微调大型预训练基础模型常常在更新所有参数时yield出优异的下游性能，但当更新全部参数时代价高昂。参数高效微调（PEFT）方法如 LoRA 通过引入轻量级更新模块来缓解这一困境，但它们通常依赖于权重agnostic的线性近似，限制了其表达能力。在本工作中，我们提出了 PEANuT，一种新的 PEFT 框架，引入基于权重感知的神经微调器，紧凑的神经模块可根据冻结的预训练权重生成任务适应的更新。PEANuT 提供了一种灵活而高效的方式来捕获复杂的更新模式，而无需进行完整的模型调优。我们理论上展示了 PEANuT 在可比或更少参数的情况下实现了等效或更大的表达能力。广泛的实验在四个基准测试中涵盖超过二十个数据集，表明 PEANuT 在 NLP 和视觉任务中均 consistently 超过强大基线，同时保持低的计算开销。
引用
@article{arxiv.2410.01870,
title = {PEANuT: Parameter-Efficient Adaptation with Weight-aware Neural Tweakers},
author = {Yibo Zhong and Haoxiang Jiang and Lincan Li and Ryumei Nakada and Tianci Liu and Linjun Zhang and Huaxiu Yao and Haoyu Wang},
journal= {arXiv preprint arXiv:2410.01870},
year = {2025}
}