解耦数据增强以提升图像分类性能
计算机视觉与模式识别
2024-11-06 v1 人工智能
摘要
近期图像混合和生成式数据增强技术的进展在提升图像分类方面展现出前景。然而，这些技术面临在语义保真度与多样性之间取得平衡的挑战。具体而言，图像混合涉及对两幅图像进行插值以生成新图像，但这种像素级插值可能损害保真度。生成式增强使用文本到图像的生成模型来合成或修改图像，通常为避免生成可能影响准确率的分布外数据而限制多样性。我们认为，这种保真度-多样性困境部分源于现有方法的整图范式。由于一幅图像包含类相关部分（CDP）和类无关部分（CIP），而每一部分对图像保真度的影响根本不同，对不同部分一视同仁因此可能产生误导。为解决这一保真度-多样性困境，我们提出了解耦数据增强（De-DA），通过将图像分离为CDP和CIP并自适应处理来化解困境。为保持保真度，我们使用生成模型在受控条件下修改真实CDP，保持语义一致性。为增强多样性，我们用类间变体替换图像的CIP，创建多样化的CDP-CIP组合。此外，我们在训练过程中实现了在线随机组合策略，以经济高效的方式生成大量不同的CDP-CIP组合。全面的实证评估验证了我们方法的有效性。
引用
@article{arxiv.2411.02592,
title = {Decoupled Data Augmentation for Improving Image Classification},
author = {Ruoxin Chen and Zhe Wang and Ke-Yue Zhang and Shuang Wu and Jiamu Sun and Shouli Wang and Taiping Yao and Shouhong Ding},
journal= {arXiv preprint arXiv:2411.02592},
year = {2024}
}