蒸馏最佳，忽略其余：基于损失值剪枝改进数据集蒸馏
计算机视觉与模式识别
2026-01-06 v1 人工智能
机器学习
摘要
近年来，数据集蒸馏引起了广泛关注，然而现有方法通常从整个数据集进行蒸馏，可能包含无益的样本。我们引入了一种新颖的“先剪枝，后蒸馏”框架，在蒸馏前通过基于损失的采样系统地剪枝数据集。通过在经典蒸馏技术和生成先验之前利用剪枝，我们创建了一个具有代表性的核心集，从而提升了对未见架构的泛化能力——这是当前蒸馏方法面临的一项重大挑战。更具体地，我们提出的框架显著提升了蒸馏质量，即使在大幅剪枝数据集（即在蒸馏前移除 80% 的原始数据集）的情况下，准确率仍可提高达 5.2 个百分点。总体而言，我们的实验结果突显了优先处理简单样本和跨架构鲁棒性的优势，为更有效、更高质量的数据集蒸馏铺平了道路。
引用
@article{arxiv.2411.12115,
title = {Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning},
author = {Brian B. Moser and Federico Raue and Tobias C. Nauen and Stanislav Frolov and Andreas Dengel},
journal= {arXiv preprint arXiv:2411.12115},
year = {2026}
}