面向计算机视觉的图像信号处理流水线设计的原始Bayer模式图像合成
图像与视频处理
2021-12-16 v2 计算机视觉与模式识别
摘要
本文提出一种方法，用于在基于生成对抗网络(GAN)的任意尺寸RAW Bayer图像生成中添加不可公式化的约束。理论上表明，通过在GAN训练中使用变换后的数据，由于两个分布之间在可逆可微变换下Jensen-Shannon (JS)散度的不变性，能够改善对原始数据分布的学习。得益于所提方法，通过将变换配置为去马赛克即可生成RAW Bayer模式图像。研究表明，通过添加另一变换，所提方法能够合成任意尺寸的高质量RAW Bayer图像。实验结果表明，所提方法生成的图像在Fréchet inception distance (FID)分数、峰值信噪比(PSNR)和平均结构相似性(MSSIM)上优于现有方法，且训练过程更稳定。据作者所知，目前尚无开源的大规模RAW Bayer域图像数据集，而这对探索面向计算机视觉任务的图像信号处理(ISP)流水线设计的研究至关重要。将现有常用彩色图像数据集转换为对应的RAW Bayer版本，所提方法可成为解决RAW图像数据集问题的可行方案。我们还在实验中表明，通过使用合成的RAW Bayer图像训练目标检测框架，它们可以以端到端方式（从RAW图像到视觉任务）使用，且性能下降可忽略。
引用
@article{arxiv.2110.12823,
title = {Raw Bayer Pattern Image Synthesis for Computer Vision-oriented Image Signal Processing Pipeline Design},
author = {Wei Zhou and Xiangyu Zhang and Hongyu Wang and Shenghua Gao and Xin Lou},
journal= {arXiv preprint arXiv:2110.12823},
year = {2021}
}
备注
10 pages