You Only Condense Once：用于剪枝浓缩数据集的两条规则
计算机视觉与模式识别
2023-10-24 v1
摘要
数据集浓缩是通过减小训练数据集规模来提升训练效率的关键工具，尤其在端侧设备上。然而，这些场景面临两个显著挑战：1）设备上可用的计算资源各异，需要不同于预定义浓缩数据集的数据集规模；2）有限的计算资源通常排除了进行额外浓缩过程的可能性。我们引入 You Only Condense Once（YOCO）来克服这些限制。在一个浓缩数据集的基础上，YOCO 通过两条极其简单的数据集剪枝规则——低 LBPE 分数与均衡构建——生成更小的浓缩数据集。YOCO 具有两个关键优势：1）可灵活调整数据集规模以适应不同的计算约束；2）消除了对额外浓缩过程的需求，而后者在计算上可能难以承受。实验在包括 ConvNet、ResNet 和 DenseNet 的网络以及包括 CIFAR-10、CIFAR-100 和 ImageNet 的数据集上验证了我们的发现。例如，我们的 YOCO 在 CIFAR-10 上以每类十张图像（IPC）超越了多种数据集浓缩与数据集剪枝方法，分别实现了 6.98-8.89% 和 6.31-23.92% 的准确率提升。代码见：https://github.com/he-y/you-only-condense-once。
引用
@article{arxiv.2310.14019,
title = {You Only Condense Once: Two Rules for Pruning Condensed Datasets},
author = {Yang He and Lingao Xiao and Joey Tianyi Zhou},
journal= {arXiv preprint arXiv:2310.14019},
year = {2023}
}
备注
Accepted by NeurIPS 2023