用于动态视觉伺服的雾机器人系统

云机器人是一种范式，其中分布式机器人通过网络连接至云服务以访问无限计算能力，代价是网络通信。然而，由于网络延迟与波动等限制，难以直接从云端控制动态的、符合人因的服务机器人。本工作中，通过利用带心跳信号的异步协议，我们将云机器人与智能边缘设备结合，构建了一个雾机器人（Fog Robotic）系统。我们利用该系统实现从云端对动态自平衡机器人的鲁棒遥操作。我们首先使用该系统从静态位置拾取箱子，这是仓储物流中的常见任务。为使云端遥操作更高效，我们部署基于图像的视觉伺服（IBVS）来自动执行箱子拾取。视觉反馈（包括apriltag识别与跟踪）在云端完成，以模拟用于IBVS的雾机器人物体识别系统。我们展示了利用此云-边混合实现实时动态自动化系统的可行性，这为在雾机器人中部署带深度学习识别系统的动态机器人控制开辟了可能。最后，我们表明雾机器人使自平衡服务机器人能在非结构化环境下从人手中自动拾取箱子。