CUT：面向边缘设备的预训练多任务模型剪枝压缩方法
机器学习
2026-01-06 v1
摘要
多任务学习因其高效的数据利用和强大的泛化能力，广受行业关注，尤其适合为用户提供高质量的智能服务。作为直接服务用户的终端设备，边缘设备在交付多任务服务方面发挥着关键作用。然而，当前的多任务模型往往体积庞大，而用户任务需求日益多样化。直接将此类模型部署到边缘设备，不仅增加了设备负担，还导致任务冗余。为此，本文创新性地提出一种专为边缘计算设计的预训练多任务模型剪枝方法。其目标是利用现有的预训练多任务模型构建满足边缘设备需求的紧凑型多任务模型。具体实现步骤如下：首先，对预训练多任务模型中的任务进行分解，并根据实际用户需求选择任务；其次，在保留原始预训练模型知识的基础上，评估参数重要性，并采用参数融合方法有效整合各任务间的共享参数；最后获得适用于边缘设备的紧凑型多任务模型。为验证所提方法的有效性，我们在三个公开图像数据集上进行了实验。实验结果充分证明了该方法的优越性与效率，为边缘设备上的多任务学习提供了新的解决方案。
引用
@article{arxiv.2504.09803,
title = {CUT: Pruning Pre-Trained Multi-Task Models into Compact Models for Edge Devices},
author = {Jingxuan Zhou and Weidong Bao and Ji Wang and Zhengyi Zhong},
journal= {arXiv preprint arXiv:2504.09803},
year = {2026}
}