从 Sim-to-Real 谈起：面向低光环境的通用基于事件的帧插值方法
计算机视觉与模式识别
2024-09-13 v2
摘要
视频帧插值（VFI）是视频增强、帧率提升和慢动作生成的重要技术。基于事件相机的介入，由于异步捕获每个像素的亮度变化，显著提升了VFI的处理能力，尤其在高速、非线性运动场景下表现更佳。然而，这些基于事件的方法在低光条件下仍面临 trailing 痕迹和信号延迟等挑战，限制了其直接的适用性与泛化能力。为此，我们提出一种针对低光条件的 novel per-scene optimization 策略。该方法利用序列的内部统计信息来处理低光条件下的降级事件数据，提高了对不同光照和摄像器设置的鲁棒性。为评估其在低光环境下的鲁棒性，我们进一步引入EVFI-LL—a 独特的RGB+Event数据集，是在低光条件下捕获的。我们的实验结果表明，在低光环境下实现了最新的性能。项目页面：https://naturezhanghn.github.io/sim2real。
引用
@article{arxiv.2406.08090,
title = {From Sim-to-Real: Toward General Event-based Low-light Frame Interpolation with Per-scene Optimization},
author = {Ziran Zhang and Yongrui Ma and Yueting Chen and Feng Zhang and Jinwei Gu and Tianfan Xue and Shi Guo},
journal= {arXiv preprint arXiv:2406.08090},
year = {2024}
}
备注
Accepted by SIGGRAPH Asia 2024 (Conference Track)