DiffuseMix：基于扩散模型的标签保持数据增强
计算机视觉与模式识别
2024-05-27 v1
摘要
最近，许多基于图像混合的数据增强技术被引入以提高深度神经网络的泛化能力。在这些技术中，将两个或多个随机选取的自然图像混合生成增强图像。此类方法可能不仅遗漏输入图像的重要部分，还会通过跨标签混合图像引入标签歧义，从而产生误导性的监督信号。为解决这些限制，我们提出 DiffuseMix，一种新颖的数据增强技术，利用扩散模型重塑训练图像，由我们的定制条件提示监督。首先，获取部分自然图像与其生成版本的拼接结果，可避免生成不真实图像或标签歧义。随后，为增强对抗攻击的鲁棒性和安全性，将来自 fractal 图像集合中随机选取的结构模式融合到拼接图像中，以形成最终的训练增强图像。我们的实验结果表明，在包括一般分类、细粒度分类、微调、数据稀缺和对抗鲁棒性等任务上，DiffuseMix 在七个不同数据集上比现有最先进方法取得优异性能。增强后的数据集和代码已提供：https://diffusemix.github.io/
引用
@article{arxiv.2405.14881,
title = {DiffuseMix: Label-Preserving Data Augmentation with Diffusion Models},
author = {Khawar Islam and Muhammad Zaigham Zaheer and Arif Mahmood and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2405.14881},
year = {2024}
}
备注
Accepted at CVPR 2024