用于高代表性数据集蒸馏的扩散模型控制
计算机视觉与模式识别
2025-05-27 v1 人工智能
机器学习
摘要
最近的深度学习模型需要更大的数据集，推动了数据集蒸馏的需求，以创建紧凑、高效的数据集同时保持性能。由于扩散模型强大的图像生成能力，它已被引入该领域用于生成蒸馏图像。在本文中，我们系统地研究了当前基于扩散的数据集蒸馏方法中存在的问题，包括分布匹配不准确、随机噪声导致的分布偏差以及独立采样。在此基础上，我们提出了 D^3HR，一个用于生成高代表性蒸馏数据集的新型扩散框架。具体而言，我们采用 DDIM 反演将完整数据集的潜变量从低正则性潜域映射到高正则性高斯域，保留信息并确保结构一致性，从而为蒸馏数据集生成代表性潜变量。此外，我们提出了一种高效的采样方案，以更好地使代表性潜变量与高正则性高斯分布对齐。我们全面的实验表明，D^3HR 在不同模型架构下均能实现比现有最先进基线更高的数据集蒸馏精度。源代码：https://github.com/lin-zhao-resoLve/D3HR。
引用
@article{arxiv.2505.18399,
title = {Taming Diffusion for Dataset Distillation with High Representativeness},
author = {Lin Zhao and Yushu Wu and Xinru Jiang and Jianyang Gu and Yanzhi Wang and Xiaolin Xu and Pu Zhao and Xue Lin},
journal= {arXiv preprint arXiv:2505.18399},
year = {2025}
}
备注
The paper is accepted by ICML 2025