FYI：在数据蒸馏中翻转您的图像
计算机视觉与模式识别
2024-07-12 v1
摘要
数据蒸馏合成一小组图像，使其与大规模真实数据集中的图像在训练过程中共享类似的行为特性（例如梯度或特征分布）。通过对当前方法和真实数据集的广泛分析，结合经验观察，本文提供了两个重要发现。首先，出现在真实图像一侧的物体部件，高度可能出现在数据集中另一幅图像的相反侧，我们称之为双边等价性。其次，双边等价性迫使合成图像在对象的左右两侧复制判别性部件，从而限制了对物体之间细微差异的识别。为解决此问题，我们引入一种意想不到却高效的数据蒸馈技术，称为FYI，使合成图像能够捕获真实图像的丰富语义。为此，FYI将水平翻转技术嵌入蒸馈过程中，缓解双边等价性的影响，同时捕获更多物体细节。在CIFAR-10/100、Tiny-ImageNet和ImageNet上的实验表明，FYI可以无缝集成到多个最先进的方法中，无需修改训练目标和网络架构，显著提升性能。
引用
@article{arxiv.2407.08113,
title = {FYI: Flip Your Images for Dataset Distillation},
author = {Byunggwan Son and Youngmin Oh and Donghyeon Baek and Bumsub Ham},
journal= {arXiv preprint arXiv:2407.08113},
year = {2024}
}
备注
Accepted to ECCV 2024