BlinkFlow：一个推动基于事件的视觉光流估计极限的数据集
计算机视觉与模式识别
2024-10-29 v2
摘要
事件相机提供高时间精度、低数据率和高动态范围的视觉感知，非常适用于光流估计。尽管数据驱动的光流估计在 RGB 相机上已取得巨大成功，其在事件相机上的泛化性能主要因有限且有偏的训练数据而受到严重制约。本文提出一种新型模拟器 BlinkSim，用于快速生成大规模基于事件的视觉光流数据。BlinkSim 集成了一个可配置渲染引擎与一套事件仿真组件。借助当前丰富的 3D 资产，渲染引擎使我们能自动构建数千个含不同物体、纹理与运动模式的场景，并渲染极高频率图像以进行真实事件数据仿真。基于 BlinkSim，我们构建了大型训练数据集与评测基准 BlinkFlow，其包含充足、多样且具挑战性的带光流真值的事件数据。实验表明，BlinkFlow 将最优方法的泛化性能平均提升逾 40%、最高达 90%。此外，我们进一步提出了一种基于事件的光流 Transformer（E-FlowFormer）架构。在 BlinkFlow 的支撑下，E-FlowFormer 在 MVSEC 数据集上超越 SOTA 方法达 91%，在 DSEC 数据集上达 14%，并展现出最佳泛化性能。源代码与数据见 https://zju3dv.github.io/blinkflow/。
引用
@article{arxiv.2303.07716,
title = {BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation},
author = {Yijin Li and Zhaoyang Huang and Shuo Chen and Xiaoyu Shi and Hongsheng Li and Hujun Bao and Zhaopeng Cui and Guofeng Zhang},
journal= {arXiv preprint arXiv:2303.07716},
year = {2024}
}
备注
Accepted to IROS 2023. Project Page: https://zju3dv.github.io/blinkflow/