扩散课程: 通过图像引导的合成-真实数据课程
计算机视觉与模式识别
2025-09-29 v4 人工智能
摘要
低质量或稀缺数据已在实际中对深度神经网络训练构成重大挑战。虽然经典数据增强无法提供截然不同的新数据，但扩散模型通过文本引导生成高质量且多样化的合成数据，为构建自演化 AI 开辟了新途径。然而，仅依赖文本引导无法控制合成图像与原始图像的接近度，导致生成的数据分布偏差，损害模型性能。为克服此限制，我们研究了图像引导以实现合成图像与真实图像之间的插值光谱。图像引导越强，生成的图像越接近训练数据但难以学习；图像引导越弱，合成图像更易被模型学习，但与原始数据的分布差距更大。生成的完整数据光谱使我们能够构建一种新型“扩散课程（DisCL）”。DisCL 根据每个训练阶段调整图像合成的引导水平：它识别并聚焦于模型中难以处理的样本，评估合成图像的最有效引导水平，以改善难数据学习。我们将 DisCL 应用于两项具有挑战性的任务：长尾（LT）分类和低质量数据学习。在 iWildCam 数据集上，应用 DisCL 可使 OOD 和 ID macro-accuracy 分别提升 2.7% 和 2.1%。在 ImageNet-LT 上，DisCL 将基线模型的尾部类别准确率从 4.4% 提升至 23.64%，并带来 4.02% 的整体准确率提升。
引用
@article{arxiv.2410.13674,
title = {Diffusion Curriculum: Synthetic-to-Real Data Curriculum via Image-Guided Diffusion},
author = {Yijun Liang and Shweta Bhardwaj and Tianyi Zhou},
journal= {arXiv preprint arXiv:2410.13674},
year = {2025}
}
备注
Accepted in ICCV2025. 22 pages, including references and appendix. Code is available at http://github.com/tianyi-lab/DisCL