事件相机驱动的低光视频增强：大规模真实世界数据集、新方法及更多

事件相机在低光视频增强方面具有显著优势，主要得益于其高动态范围。然而，当前研究受到缺乏大规模、真实世界、时空对齐的事件-视频数据集的严重限制。为解决此问题，我们引入了一个包含超过30,000对在不同光照条件下捕获的帧和事件的大规模数据集。该数据集通过遵循一致的非线性轨迹的机械臂进行整理，实现了空间对齐精度低于0.03毫米，并且对于90%的数据集，时间对齐误差低于0.01秒。基于该数据集，我们提出了\textbf{EvLight++}，一种新颖的事件引导的低光视频增强方法，旨在真实世界场景中实现稳健性能。首先，我们设计了一个多尺度整体融合分支，以整合来自图像和事件的结构与纹理信息。为了应对区域光照和噪声的变化，我们引入了信噪比（SNR）引导的区域特征选择，增强高信噪比区域的特征，并通过从事件中提取结构信息来增强低信噪比区域的特征。为了整合时间信息并确保时间一致性，我们在整个流程中引入了循环模块和时间损失。在自建数据集和合成SDSD数据集上的大量实验表明，EvLight++ 显著优于基于单图像和基于视频的方法，分别提高了1.37 dB和3.71 dB。为了进一步探索其在语义分割和单目深度估计等下游任务中的潜力，我们通过精心标注工作扩展了数据集，添加了伪分割和深度标签。在不同低光场景下的实验表明，增强结果在语义分割方面平均交并比（mIoU）提高了15.97%。