基于稀疏类别不平衡样本的模型压缩：一种超出分布之外的探索
机器学习
2025-02-11 v1 人工智能
计算机视觉与模式识别
摘要
近年来，稀疏样本模型压缩广泛用于处理由于隐私和安全问题导致的数据有限问题。然而，当可用样本数量极少时，类别不平衡会成为常见且棘手的问题。在现实应用中，获取所有类别的等数量样本往往昂贵且不切实际，此前关于稀疏样本模型压缩的研究大多忽略了这一重要问题。我们的实验全面演示了类别不平衡对稀疏样本模型压缩方法的整体性能产生负面影响。为解决此问题，我们提出一种新颖且自适应的框架，称为OOD-Enhanced Few-Sample Model Compression (OE-FSMC)。该框架将容易获取的超出分布(OOD)数据集成到压缩和微调过程中，有效重新平衡训练分布。我们还包含联合蒸馏损失和正则化项，以减少模型对OOD数据过拟合的风险。多个基准数据集上的大量实验表明，我们的框架可以无缝集成到现有的稀疏样本模型压缩方法中，有效缓解类别不平衡导致的精度下降。
引用
@article{arxiv.2502.05832,
title = {Compressing Model with Few Class-Imbalance Samples: An Out-of-Distribution Expedition},
author = {Tian-Shuang Wu and Shen-Huan Lyu and Ning Chen and Zhihao Qu and Baoliu Ye},
journal= {arXiv preprint arXiv:2502.05832},
year = {2025}
}