基于傅里叶对抗网络的轻量级 HDR 相机 ISP 用于动态光照条件下鲁棒感知
计算机视觉与模式识别
2022-05-17 v2 图像与视频处理
摘要
商用紧凑型相机传感器有限的动态范围导致对具有变化光照条件的场景表征不准确， adversely affecting 图像质量并进而限制底层图像处理算法的性能。当前最先进（SoTA）的卷积神经网络（CNN）作为后处理技术被开发，用于独立恢复欠曝/过曝图像。然而，当应用于包含真实世界退化（如眩光、远光灯、色彩溢出及变化噪声强度）的图像时，这些算法会放大退化，进一步降低图像质量。我们提出了一种轻量级两阶段图像增强算法，利用频率先验进行结构引导，依次平衡光照与去噪以克服这些局限。此外，为确保真实的图像质量，我们利用图像频域与空域属性之间的关系，提出了一种基于傅里叶谱的对抗框架（AFNet），用于在变化光照条件下一致的图像增强。尽管当前图像增强的表述被视为后处理技术，我们探究此类算法是否可扩展以集成相机传感器内图像信号处理（ISP）流水线的功能，从而受益于 RAW 传感器数据与轻量级 CNN 架构。基于定量与定性评估，我们还考察了图像增强技术对变化光照条件下常见感知任务（如目标检测与语义分割）性能的实际性与影响。
引用
@article{arxiv.2204.01795,
title = {Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks},
author = {Pranjay Shyam and Sandeep Singh Sengar and Kuk-Jin Yoon and Kyung-Soo Kim},
journal= {arXiv preprint arXiv:2204.01795},
year = {2022}
}
备注
Accepted in BMVC 2021