利用合成数据增强与循环一致对抗网络改进可见光至红外图像转换
图像与视频处理
2019-04-29 v1 计算机视觉与模式识别
机器学习
摘要
红外（IR）图像对于提升暗目标或伪装目标的可见性至关重要。基于神经网络、利用红外图像进行的目标识别与分割比彩色可见光图像提供更优的精度与洞察。但瓶颈在于可用于训练的相关红外图像数量。为特殊用途（包括空间探测、军事与消防应用）收集真实世界红外图像十分困难。为解决这个问题，我们使用基于 Unity 的 3D 游戏编辑器创建了彩色可见光与红外图像。这些合成生成的彩色可见光与红外图像被用于训练循环一致对抗网络（CycleGAN）以将可见光图像转换为红外图像。CycleGAN 的优势在于转换训练不需要精确配对的可见光与红外图像。本研究中，我们发现额外的合成数据有助于提升 CycleGAN 性能。使用真实数据（N = 20）的神经网络训练比使用真实（N = 10）与合成（N = 10）数据组合的训练变换更精确。结果表明合成数据无法超越真实数据的质量。使用真实（N = 10）与合成（N = 100）数据组合的神经网络训练表现出与使用真实数据（N = 20）训练几乎相同的性能。至少需要 10 倍于真实数据的合成数据才能达到相同性能。总之，CycleGAN 与合成数据一同使用可改进可见光图像的红外图像转换性能。
引用
@article{arxiv.1904.11620,
title = {Improved visible to IR image transformation using synthetic data augmentation with cycle-consistent adversarial networks},
author = {Kyongsik Yun and Kevin Yu and Joseph Osborne and Sarah Eldin and Luan Nguyen and Alexander Huyen and Thomas Lu},
journal= {arXiv preprint arXiv:1904.11620},
year = {2019}
}
备注
8 pages, 6 figures, SPIE