CaO$_2$：纠正扩散模型数据蒸馏中的不一致性
计算机视觉与模式识别
2025-07-10 v2
摘要
最近在数据蒸馏中引入扩散模型表明，具有创造性潜力，用于为大型高分辨率目标数据集创建紧凑的替代数据集，相较于传统的双层/单层优化方法在效率和性能方面具有优势。然而，当前的基于扩散模型的数据蒸馈方法忽略了评估过程，存在两个关键不一致性：(1) 目标不一致性，即蒸馈过程偏离评估目标；(2) 条件不一致性，导致生成图像与其相应条件之间存在不匹配。为解决这些问题，我们引入Condition-aware Optimization with Objective-guided Sampling (CaO)，一个两阶段的基于扩散模型的框架，将蒸馈过程与评估目标一致。第一阶段采用概率信息驱动的样本选择管道，第二阶段通过改进条件似然性来细化相应的潜在表示。CaO在ImageNet及其子集上实现了最先进的性能，平均超过最佳基线提高2.3%准确率。
引用
@article{arxiv.2506.22637,
title = {CaO$_2$: Rectifying Inconsistencies in Diffusion-Based Dataset Distillation},
author = {Haoxuan Wang and Zhenghao Zhao and Junyi Wu and Yuzhang Shang and Gaowen Liu and Yan Yan},
journal= {arXiv preprint arXiv:2506.22637},
year = {2025}
}
备注
ICCV 2025. Code is available at https://github.com/hatchetProject/CaO2