通过数据自由知识蒸馏恢复后剪枝精度
机器学习
2025-11-27 v1 人工智能
摘要
模型剪枝是一种广泛采用用于减少深度神经网络（DNN）计算复杂度和内存占用的技术。然而，全局非结构化剪枝常导致准确率显著下降，通常需要在原始训练数据集上进行微调以恢复性能。在医疗或金融等隐私敏感领域，因监管因素（如GDPR、HIPAA） post-deployment 后获取原始训练数据常受限。本文提出一种数据自由知识蒸馏框架，以弥合模型压缩与数据隐私之间的差距。我们利用DeepInversion通过反向归一化（BN）统计信息合成具有隐私保护的“梦想”图像，这些合成图像作为迁移集，用于将知识从原始教师模型蒸馈到被剪枝的学生网络。在CIFAR-10数据集上进行实验，覆盖ResNet、MobileNet、VGG等 various architectures，结果表明该方法在不访问任何真实数据点的前提下，显著恢复了剪枝期间损失的准确率。
引用
@article{arxiv.2511.20702,
title = {Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation},
author = {Chinmay Tripurwar and Utkarsh Maurya and Dishant},
journal= {arXiv preprint arXiv:2511.20702},
year = {2025}
}