面向精准农业的沉浸式人机遥操作框架：融合基于无人机数字建图与虚拟现实控制

在农业环境中，某些生产环境的非结构化特性，以及生产任务的高复杂性与固有风险，给实现全面自动化与有效的现场机器控制带来重大挑战。远程控制技术借助人类智能与精确的机器运动，保障操作员安全并提升生产力。近来，虚拟现实（VR）通过克服单视角局限并提供三维信息，在远程控制应用中展现出潜力，但多数研究未聚焦于农业场景。因此，为弥补此差距，本研究提出一种专为精准农业设计的大规模数字建图与沉浸式人机遥操作框架。研究中，利用大疆无人机（UAV）进行数据采集，并引入一种基于特征点的新型视频分割方法。为应对复杂纹理的变化性，该方法提出一种增强的运动恢复结构（SfM）方法，将开源多视图几何（OpenMVG）框架与基于 Transformer 的局部特征（LoFTR）相集成。增强的 SfM 生成点云地图，并进一步通过多视图立体（MVS）处理以生成完整地图模型。在控制方面，引入了利用 TCP/IP 实现 VR 控制与农业机械定位的闭环系统。该系统提供一种完全基于视觉的沉浸式控制方法，使操作员能利用 VR 技术进行远程操作。实验结果表明，该用户友好的远程控制方法相较传统基于视频流的远程操作亦展现优势，为操作员提供更全面沉浸的体验与更高水平的态势感知。