GIFT：在几乎不增加成本的情况下释放蒸馏数据集标签的潜能
计算机视觉与模式识别
2025-03-07 v2 机器学习
摘要
最近的dataset distillation 进展表明，使用由预训练教师模型生成的软标签具有显著优势。在本文中，我们提出了一种新颖的视角，强调充分利用标签。我们首先对比了 various loss functions 在 dataset distillation 中用于软标签的不同方法，发现在合成数据集上训练的模型对软标签利用的损失函数选择高度敏感。这一发现凸显了在合成数据集上训练模型时，针对软标签利用所需通用损失函数的必要性。基于这些见解，我们引入一种极其简单却出奇意料的即插即用方法 GIFT，其包含软标签细化和基于余弦相似度的损失函数，以高效利用完整标签信息。广泛的实验表明，GIFT 在 various dataset scales 上持续增强 state-of-the-art 的 dataset distillation 方法，无需额外计算成本。重要的是，GIFT显著增强了跨优化器的泛化，这一领域此前被忽视。例如，在 ImageNet-1K 且 IPC=10 时，GIFT 将 state-of-the-art 方法 RDED 在 cross-optimizer generalization 中提升 30.8%。我们的代码可在 https://github.com/LINs-lab/GIFT 获取。
引用
@article{arxiv.2405.14736,
title = {GIFT: Unlocking Full Potential of Labels in Distilled Dataset at Near-zero Cost},
author = {Xinyi Shang and Peng Sun and Tao Lin},
journal= {arXiv preprint arXiv:2405.14736},
year = {2025}
}
备注
https://github.com/LINs-lab/GIFT