CrAFT：面向高效视觉任务适应的压缩感知微调
计算机视觉与模式识别
2023-07-11 v2
摘要
在基础模型时代，迁移学习已成为一种流行的任务适应方法。然而，许多基础模型需要庞大的存储与计算资源，使得直接部署不切实际。剪枝与量化等训练后压缩技术有助于降低部署成本。遗憾的是，由此产生的性能退化限制了此类技术的可用性与效益。为缩小这一性能差距，我们提出CrAFT，一种实现有效训练后网络压缩的简单微调框架。在CrAFT中，用户只需采用默认微调计划与锐度最小化目标，即可同时促进任务适应与压缩友好性。与在预训练期间应用的常规锐度最小化技术不同，CrAFT方法增加的训练开销可忽略不计，因为微调在单块GPU上数分钟或数小时内即可完成。CrAFT是一种通用工具，可显著增强一次性剪枝与训练后量化，其在多种目标任务上的卷积基与注意力基视觉基础模型中均得到了验证。代码将公开可用。
引用
@article{arxiv.2305.04526,
title = {CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task Adaptation},
author = {Jung Hwan Heo and Seyedarmin Azizi and Arash Fayyazi and Massoud Pedram},
journal= {arXiv preprint arXiv:2305.04526},
year = {2023}
}
备注
Preprint