用于高效参数调优的特定与共享参数优化
机器学习
2025-04-07 v1
摘要
基础模型拥有庞大的参数数量，并在大规模数据集上进行预训练，在各种应用中实现了最先进的性能。然而，如何以最小的计算开销高效地将其适应下游任务仍是一个挑战。参数高效迁移学习（PETL）通过只微调小数参数子集来实现此目标，同时保持预训练知识。在本文中，我们提出了一种新的PETL方法SaS，用于有效缓解微调期间分布性偏移。SaS集成了（1）一种共享模块，通过低秩投影捕获跨层的常见统计特征，以及（2）一种层特定模块，该模块采用超网络为每个层生成定制参数。这种双重设计确保了性能和参数效率之间的最佳平衡，同时引入的额外参数不足于0.05%，远小于现有方法。对多样化的下游任务、few-shot设置和领域泛化进行大量实验表明，SaS显著提升了性能，同时在参数效率方面优于现有方法，凸显了在迁移学习中捕获共享信息和层特定信息的重要性。代码和数据可在 https://anonymous.4open.science/r/SaS-PETL-3565 获取。
引用
@article{arxiv.2504.03450,
title = {Optimizing Specific and Shared Parameters for Efficient Parameter Tuning},
author = {Van-Anh Nguyen and Thanh-Toan Do and Mehrtash Harandi and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2504.03450},
year = {2025}
}