面向更精简微调模型与更佳迁移的神经参数搜索
机器学习
2025-05-27 v1 人工智能
计算与语言
摘要
基础模型及其检查点已显著推动深度学习在各种应用领域的性能提升. 然而, 微调后的模型常常在特定领域之外表现不佳, 并 exhibits considerable redundancy. 最近的研究表明, 将被剪枝的微调模型与原始预训练模型组合可缓解遗忘现象, 在跨任务合并模型参数时减少干扰, 并提升压缩效率. 在此背景下, 发展有效的微调模型剪枝策略至关重要. 利用任务向量机制的优势, 我们通过计算微调模型与原始模型之间的差异来预处理微调模型. 认识到不同任务向量子空间对模型性能贡献各异, 我们引入一种新方法, 即神经参数搜索(NPS-Pruning)以压缩微调模型. 该方法通过在低秩子空间中搜索任务向量的神经参数, 提升剪枝效率. 本方法具有三个关键应用: 通过两两模型插值增强知识迁移, 通过模型合并实现有效知识融合, 并部署保留接近原始性能的压缩模型, 以显著降低存储成本. 大量在视觉、自然语言处理和多模态基准测试中的实验表明, 我们的做法有效且稳健, 实现显著性能提升. 代码已公开于https://github.com/duguodong7/NPS-Pruning.
引用
@article{arxiv.2505.18713,
title = {Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer},
author = {Guodong Du and Zitao Fang and Jing Li and Junlin Li and Runhua Jiang and Shuyang Yu and Yifei Guo and Yangneng Chen and Sim Kuan Goh and Ho-Kin Tang and Daojing He and Honghai Liu and Min Zhang},
journal= {arXiv preprint arXiv:2505.18713},
year = {2025}
}
备注
Accepted by ACL2025 Main