LiNeS：后训练层级缩放防止遗忘并增强模型合并
摘要
微调 pre-trained 模型已成为为其赋予 specialized 知识的标准方法，但面临挑战。特别是 (i) 微调常导致灾难性遗忘，后果是针对目标领域的改进会损害对其他任务的泛化能力，和 (ii) 来自 disparate 任务的 fine-tuned 检查点合并可能导致显著性能损失。为解决这些挑战，我们引入 LiNeS，Layer-increasing Network Scaling，一种后训练编辑技术，旨在保留 pre-trained 泛化能力同时提升 fine-tuned 任务性能。LiNeS 按网络中层深度线性缩放参数更新，保持浅层接近 pre-trained 值以保留 general 特征，同时允许深层保留 task-specific 表示。在 multi-task 模型合并场景中，layer-wise 缩放合并参数可减少负 task 干扰。LiNeS 在 various 基准测试中在 vision 和 natural language processing 领域 demonstrate 显著改进，single-task 和 multi-task 设置。它缓解了遗忘，增强了 out-of-distribution 泛化， seamless 集成到 existing multi-task model merging baselines 中，提高了 various benchmarks 和 model sizes 上的性能，并可通过 RLHF 提升 aligned 的 LLM 策略的泛化。该方法简单易实现，计算效率高，与许多 existing 技术相互补充。我们的 source code 可在 https://github.com/wang-kee/LiNeS 获取。
引用
@article{arxiv.2410.17146,
title = {LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging},
author = {Ke Wang and Nikolaos Dimitriadis and Alessandro Favero and Guillermo Ortiz-Jimenez and Francois Fleuret and Pascal Frossard},
journal= {arXiv preprint arXiv:2410.17146},
year = {2025}
}
备注
The first two authors contributed equally to this work. Accepted at ICLR 2025. Project website: https://lines-merging.github.io