理解与缓解网络延迟对扩展现实遥操作机器人的影响

基于扩展现实的机器人遥操作（XR 遥操作）通过允许远程机器人以实时 3D 反馈模仿用户动作，实现了直观的交互。然而，现有系统面临显著的动到动（M2M）延迟——即用户最新动作与相应机器人反馈之间的延迟——导致遥操作误差大且任务完成时间长。该问题源于系统对网络通信的完全依赖，使其极易受到网络性能下降的影响。为了应对这些挑战，我们引入了 TeleXR，这是首个端到端、完全开源的 XR 遥操作框架，将机器人控制与 XR 可视化与网络依赖解耦。TeleXR 利用本地传感数据重建对端的延迟或缺失信息，从而显著减少了网络诱发的问题。该方法允许 XR 和机器人在网络传输的同时并发运行，同时保持较高的机器人规划精度。TeleXR 还具有竞争感知调度功能以缓解 GPU 竞争，以及带宽自适应点云缩放功能以应对有限带宽。