SliceFine：预训练网络中获胜切片假设的通用框架
计算机视觉与模式识别
2025-10-14 v2 计算与语言
摘要
本文提出了一个理论框架，解释为何对预训练模型中小型随机选取子网络(切片)进行微调即可足以进行下游适应。我们证明，预训练网络表现出一种普遍的获胜切片属性，源于两个现象：(1)谱平衡——不同权重矩阵切片的本征谱 remarkably相似；(2)高任务能量——其主干表示保留了丰富、与任务相关的特征。这导致通用获胜切片假设，为大规模模型的参数高效微调(PEFT)提供了理论依据。灵感来自此，我们提出SliceFine——一种PEFT方法，利用模型内在的冗余性，只更新原始权重的特定切片，而不引入任何新的参数，不同于插入式方法。经验上，SliceFine在语言和视觉任务上匹配最先进的PEFT方法的性能，同时显著提升了训练速度、内存效率和模型紧凑性。我们的工作搭桥理论与实践，为现有PEFT技术提供了一种在理论上有据可依的替代方案。
引用
@article{arxiv.2510.08513,
title = {SliceFine: The Universal Winning-Slice Hypothesis for Pretrained Networks},
author = {Md Kowsher and Ali O. Polat and Ehsan Mohammady Ardehaly and Mehrdad Salehi and Zia Ghiasi and Prasanth Murali and Chen Chen},
journal= {arXiv preprint arXiv:2510.08513},
year = {2025}
}