Rawgment：考虑噪声的RAW数据增强实现多环境下识别
计算机视觉与模式识别
2023-03-28 v2 图像与视频处理
摘要
在具有挑战性的环境（例如极暗、模糊或高动态范围条件）中有效的图像识别模型必须具有实用性。然而，由于数据收集和标注的困难，为此类环境创建训练数据集昂贵且艰难。如果我们无需难以获取的数据集即可获得鲁棒模型，则是理想的。一种简单方法是对简单场景中的标准RGB（sRGB）图像应用颜色抖动和模糊等数据增强。遗憾的是，由于未考虑图像信号处理器（ISP）的非线性与图像传感器的噪声特性，该方法难以在像素强度和噪声分布方面生成真实图像。作为替代，我们提出一种考虑噪声的RAW图像增强方法。本质上，颜色抖动和模糊增强在应用非线性ISP之前作用于RAW图像，从而产生真实的强度。此外，我们引入一种噪声量对齐方法，校准由增强引起的噪声属性中的域差距。我们表明，仅使用简单训练数据，我们提出的考虑噪声的RAW增强方法在挑战性环境中使图像识别准确率翻倍。
引用
@article{arxiv.2210.16046,
title = {Rawgment: Noise-Accounted RAW Augmentation Enables Recognition in a Wide Variety of Environments},
author = {Masakazu Yoshimura and Junji Otsuka and Atsushi Irie and Takeshi Ohashi},
journal= {arXiv preprint arXiv:2210.16046},
year = {2023}
}
备注
Accepted to CVPR2023