EgoExo++: 集成即时外观视觉与2.5D地面表面估计用于水下 ROV 交互式遥操
摘要
水下 ROV (远程操作 vehicle) 是海洋探索和任务执行不可或缺的工具，但基于 egocentric (第一人称) 视频 feed 的典型遥操引擎限制了人类操作员的视野，并限制了在复杂、非结构化的水下环境中进行精确操控。为此，我们首先提出 EgoExo，一个集成到视觉 SLAM pipeline 中的几何驱动解决方案，用于从 egocentric 相机 feed 中合成即时 exocentric (第三人称) 视图。我们进一步提出 EgoExo++，其超越 2D exocentric view synthesis (EgoExo)，通过 piecewise planar 2.5D 地面表面估计进行 on-the-fly 增强。其 anchor-free aerial viewpoint 支持 ground-relative reasoning，如 clearance 和基于地形的导航标记跟随。所涉及的计算是闭式的，仅依赖 egocentric views 和 monocular SLAM estimates，这使得其可移植到现有的遥操引擎中并对各种水体特征具有鲁棒性。我们通过大量实验验证了该方法的几何准确性，其中包括 2-DOF 室内导航和 6-DOF 水下洞穴探索，后者在具有挑战性的低光条件下。为评估操作优势，我们分别使用仿真和真实世界数据进行了两项用户研究，每项研究都有 15 名参与者，比较了基线 egocentric 遥操和 EgoExo++。结果表明，系统可用性 (SUS) 有所提高，感知工作负荷 (NASA-TLX) 降低，客观遥操性能显著提升，其中包括使任务完成时间缩短 16%，路径偏差比率降低 5 倍，碰撞事件减少（实验中分别为 2 与 5 起）。此外，我们强调了 EgoExo++ 增强视觉在支持共享自主性和具身遥操中的作用。EgoExo++ 的 source packages 可在 https://github.com/uf-robopi/EgoExo 上获取。
引用
@article{arxiv.2407.00848,
title = {EgoExo++: Integrating On-demand Exocentric Visuals with 2.5D Ground Surface Estimation for Interactive Teleoperation of Underwater ROVs},
author = {Adnan Abdullah and Ruo Chen and Ioannis Rekleitis and Md Jahidul Islam},
journal= {arXiv preprint arXiv:2407.00848},
year = {2026}
}
备注
EgoExo++ (Accepted in IJRR), V7/V3, metadata updated, 16 pages