基于视觉-在回路仿真的深单目无人机姿态估计——面向海洋环境

本文提出了一种用于深单目姿态估计的视觉-在回路仿真环境，适用于海洋环境中的无人机( UAV)。最近，一种基于变换器架构的深度神经网络已成功训练用于估计无人机相对于研究船甲板的位置姿态，克服了GPS方法的多个局限性。然而，在实际海洋环境中验证深度姿态估计算存在显著挑战，主要由于研究船资源有限以及相关运营成本高。为此，本文提出了一种基于高斯溅写技术（即将3D场景中的图像像素建模为3D空间中的高斯分布的新型技术）构建的照片实况3D虚拟环境。该方法从多个视角创建轻量级且高质量的视觉模型，实现将现场收集的多个真实图像集成到虚拟环境中。所得仿真环境可用于飞行机动的室内测试，同时验证飞行软件、硬件及深度单目姿态估计算的所有方面。该方法为 shipboard UAV 的自主飞行测试与验证提供了成本效益高的解决方案，特别聚焦于基于视觉的控制与估计算。