Diff-Mosaic:通过扩散先验增强红外小目标检测中的真实表示
计算机视觉与模式识别
2024-06-04 v1
摘要
近年来,研究人员提出了各种深度学习方法,以准确检测具有模糊形状和纹理特征的红外目标。由于红外数据集的种类有限,训练具有良好泛化能力的深度学习模型面临挑战。为了扩充红外数据集,研究人员采用数据增强技术,这些技术通常涉及通过组合来自不同数据集的图像来生成新图像。然而,这些方法在两个方面存在不足。在真实性方面,基于混合的方法生成的图像缺乏真实性,难以有效模拟复杂的真实场景。在多样性方面,与真实场景相比,从另一个数据集借用知识本身具有有限的多样性。目前,扩散模型作为一种创新的生成方法脱颖而出。大规模训练的扩散模型具有强大的生成先验,能够对图像进行真实世界建模,生成多样且逼真的图像。在本文中,我们提出Diff-Mosaic,一种基于扩散模型的数据增强方法。该模型通过扩散先验有效缓解了数据增强方法的多样性和真实性挑战。具体来说,我们的方法包括两个阶段。首先,我们引入一个称为Pixel-Prior的增强网络,该网络通过协调像素生成高度协调且逼真的马赛克图像。在第二阶段,我们提出一种称为Diff-Prior的图像增强策略。该策略利用扩散先验对真实场景中的图像进行建模,进一步增强了图像的多样性和真实性。大量实验表明,我们的方法显著提高了检测网络的性能。代码可在https://github.com/YupeiLin2388/Diff-Mosaic获取。
引用
@article{arxiv.2406.00632,
title = {Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior},
author = {Yukai Shi and Yupei Lin and Pengxu Wei and Xiaoyu Xian and Tianshui Chen and Liang Lin},
journal= {arXiv preprint arXiv:2406.00632},
year = {2024}
}