eStonefish-Scenes：基于仿真到现实验证的机器人导向事件型光流数据集用于水下车辆
摘要
事件型相机（Event-based Cameras, EBCs）有望变革水下机器人领域，但缺乏针对水下环境的标注事件型数据集严重限制了视觉里程计和障碍规避等任务的进展。现实世界的事件型光流数据稀缺、收集成本高且缺乏多样性，而无先前基准针对水下应用。为填补这一空白，我们引入eStonefish-Scenes数据集，基于Stonefish仿真器生成的合成事件型光流数据集，搭配开放数据生成管道，创建可定制的水下环境， featuring 逼真的珊瑚礁和具有自主导航行为的生物学启发鱼群。我们还PRESENTED eWiz，一个综合性事件数据处理库，涵盖数据加载、增强、可视化、编码、训练工具、损失函数和评估指标。为验证仿真到现实的可转移性，我们使用 DAVIS346 混合事件-帧相机 mounted on BlueROV2 在室内测试池中收集真实数据。基于仿射变换的帧到-poster 注册推导真实光流，并通过关键点对应关系的蒙特卡洛扰动估计像素不确定性。该不确定性纳入评估指标，实现可靠性感知的性能评估。仅在合成eStonefish-Scenes数据上训练的基于 ConvGRU 的光流网络在真实序列上无需微调，实现不确定性加权平均端点误差为 0.79 像素。这些结果表明，所提数据集有效支持水下事件型光流估计的仿真到现实迁移，大幅降低昂贵真实数据收集的需求。
引用
@article{arxiv.2505.13309,
title = {eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles},
author = {Jad Mansour and Sebastian Realpe and Hayat Rajani and Michele Grimaldi and Rafael Garcia and Nuno Gracias},
journal= {arXiv preprint arXiv:2505.13309},
year = {2026}
}
备注
This revised version extends the original, which lacked real-world validation. We added a real-world data acquisition study using a DAVIS346 camera on a BlueROV2, a homography-based ground-truth optical flow method with per-pixel uncertainty estimation, and a sim-to-real evaluation using a ConvGRU network trained on synthetic data and tested on real underwater sequences. arXiv admin note: text overlap with arXiv:2412.09209