TuneComp：大型基础模型的联合微调与压缩
机器学习
2025-05-29 v1 人工智能
摘要
为了在训练后减小模型大小，知识蒸馏、低秩近似和剪枝等压缩方法通常在微调模型之后应用。然而，顺序进行微调和压缩会牺牲性能，同时在此中间步骤中会创建一个比所需更大的模型。在本工作中，我们旨在通过在下游任务的引导下直接构建更小的模型来缩小这一差距。我们提出通过将模型逐步蒸馏为剪枝后的低秩结构，来联合微调并压缩模型。实验表明，联合微调与压缩显著优于其他顺序压缩方法。
引用
@article{arxiv.2505.21835,
title = {TuneComp: Joint Fine-tuning and Compression for Large Foundation Models},
author = {Xiangyu Chen and Jing Liu and Ye Wang and Matthew Brand and Pu and Wang and Toshiaki Koike-Akino},
journal= {arXiv preprint arXiv:2505.21835},
year = {2025}
}
备注
Preliminary Work