DemosaicFormer：用于HybridEVS摄像机的粗到细Demosaicing网络
计算机视觉与模式识别
2024-06-13 v1
摘要
混合事件基视觉传感器（HybridEVS）是一种集成传统帧基和事件基传感器的新型传感器，对于需要低光照、高动态范围和低延迟环境的应用（如智能手机和可穿戴设备）提供显著优势。尽管具有巨大的潜力，但缺乏专为HybridEVS设计的图像信号处理（ISP）管线是重大的挑战。为此，本研究提出一种称为DemosaicFormer的粗到细框架，包括粗糙去马赛克和像素校正。粗糙去马赛克网络旨在从HybridEVS原始数据中生成RGB图像的初步高质量估计，而像素校正网络则提高图像恢复性能并减轻损坏像素的影响。我们的关键创新是设计一种多尺度门控模块（MSGM），通过跨尺度特征的集成，允许特征信息在不同尺度之间流动。此外，采用渐进式训练和数据增强策略进一步提高了模型的鲁棒性和有效性。实验结果表明，与现有方法相比，DemosaicFormer在定性和定量方面均表现出色，在MIPI 2024挑战赛中实现了所有评估指标的最佳性能。代码已公开于https://github.com/QUEAHREN/DemosaicFormer。
引用
@article{arxiv.2406.07951,
title = {DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera},
author = {Senyan Xu and Zhijing Sun and Jiaying Zhu and Yurui Zhu and Xueyang Fu and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2406.07951},
year = {2024}
}