FocusDD: 真实场景注入实现鲁棒数据集蒸馏
计算机视觉与模式识别
2025-01-14 v1 人工智能
摘要
数据集蒸馏已成为压缩真实世界数据集以实现高效训练的策略。然而，它在大规模和高分辨率数据集上表现不佳，限制了其实用性。本文介绍了一种新颖的与分辨率无关的数据集蒸馏方法——聚焦数据集蒸馏（FocusDD），它通过识别关键信息补丁来实现蒸馏数据的多样性和真实性，从而确保蒸馏数据集在不同网络架构上的泛化能力。具体来说，FocusDD利用预训练的Vision Transformer（ViT）提取关键图像补丁，然后将这些补丁合成到单个蒸馏图像中。这些捕获多个目标的蒸馏图像不仅适用于分类任务，也适用于密集任务（如目标检测）。为了进一步提高蒸馏数据集的泛化能力，每个合成图像都通过原始图像的下采样视图进行增强。在ImageNet-1K数据集上的实验结果表明，在每类100张图像（IPC）下，ResNet50和MobileNet-v2分别达到71.0%和62.6%的验证准确率，分别比最先进方法高出2.8%和4.7%。值得注意的是，FocusDD是第一个使用蒸馏数据集进行目标检测任务的方法。在COCO2017数据集上，IPC为50时，YOLOv11n和YOLOv11s分别达到24.4%和32.1%的mAP，进一步验证了我们方法的有效性。
引用
@article{arxiv.2501.06405,
title = {FocusDD: Real-World Scene Infusion for Robust Dataset Distillation},
author = {Youbing Hu and Yun Cheng and Olga Saukh and Firat Ozdemir and Anqi Lu and Zhiqiang Cao and Zhijun Li},
journal= {arXiv preprint arXiv:2501.06405},
year = {2025}
}