RGB-Event ISP：数据集与基准
计算机视觉与模式识别
2025-02-03 v1 图像与视频处理
摘要
事件导向成像因其潜在 revolutionize 瞬时成像系统而受到广泛关注。然而，现有方法主要聚焦于后处理方式提升 RGB 图像，忽视了图像信号处理器 (ISP) 面对事件传感器及其为重构 ISP 流程所带来的挑战与机遇。为此，我们首次研究事件导向 ISP。首先，我们提出了新的事件-RAW 配对数据集，采用一种新型但仍保密的传感器采集像素级对齐的事件与 RAW 图像。该数据集包含 3373 张分辨率为 2248 x 3264 的 RAW 图像及其对应的事件，覆盖 24 个场景，包含 3 种曝光模式和 3 种镜头。其次，我们提出常规 ISP 流水线以生成参考 RGB 帧。该常规 ISP 流水线执行基本操作，如 demosaicing、白平衡、去噪与颜色空间转换，并以 ColorChecker 为参考。随后，我们将现有可学习 ISP 方法归类为 3 类，并在新数据集上训练与评估多个方法。由于缺乏现有工作可供参考，我们提出一种简单事件导向 ISP 方法并在数据集上进行测试。我们进一步提出关键技术挑战与未来方向。总之，就本知识而言，这是首个聚焦事件导向 ISP 的研究，期待能激发学界热情。代码与数据集已发布于 https://github.com/yunfanLu/RGB-Event-ISP。
关键词
引用
@article{arxiv.2501.19129,
title = {RGB-Event ISP: The Dataset and Benchmark},
author = {Yunfan Lu and Yanlin Qian and Ziyang Rao and Junren Xiao and Liming Chen and Hui Xiong},
journal= {arXiv preprint arXiv:2501.19129},
year = {2025}
}
备注
Accepted by ICLR 2025; 14 pages, 8 figures, 4 tables