在复杂场景中强调判别性特征以进行数据集蒸馏
计算机视觉与模式识别
2025-04-01 v2 人工智能
摘要
数据集蒸馏在CIFAR、MNIST和TinyImageNet等简单数据集上表现出色，但在更复杂的场景中难以取得类似的结果。在本文中，我们提出了EDF（强调判别性特征），一种数据集蒸馏方法，它使用Grad-CAM激活图来增强合成图像中的关键判别性区域。我们的方法受到一个关键观察的启发：在简单数据集中，高激活区域通常占据图像的大部分，而在复杂场景中，这些区域的大小要小得多。与先前在合成图像时平等对待所有像素的方法不同，EDF使用Grad-CAM激活图来增强高激活区域。从监督的角度来看，我们淡化具有较低损失的监督信号，因为它们包含常见模式。此外，为了帮助DD社区更好地探索复杂场景，我们通过从ImageNet-1K中精心挑选十六个子集（八个简单，八个困难）构建了复杂数据集蒸馏（Comp-DD）基准。特别是，EDF在复杂场景（例如ImageNet-1K子集）中持续优于SOTA结果。希望更多的研究人员能够受到启发和鼓励，以提高DD的实用性和有效性。我们的代码和基准将在https://github.com/NUS-HPC-AI-Lab/EDF公开。
引用
@article{arxiv.2410.17193,
title = {Emphasizing Discriminative Features for Dataset Distillation in Complex Scenarios},
author = {Kai Wang and Zekai Li and Zhi-Qi Cheng and Samir Khaki and Ahmad Sajedi and Ramakrishna Vedantam and Konstantinos N Plataniotis and Alexander Hauptmann and Yang You},
journal= {arXiv preprint arXiv:2410.17193},
year = {2025}
}
备注
24 pages, 13 figures