面向全天候侧风跑道着陆的正规化空间变换网络视觉语言建模

人类视觉系统(HVS)在深度感知方面的内在能力以及仪器着陆系统(ILS)的失效，刺激了飞行员执行基于视觉的手动着陆而非自动着陆。然而，恶劣天气为此带来了挑战，飞行员必须在最低决策高度之前拥有清晰的跑道元素视图。为辅助手动着陆，要求在各种气候条件下具备鲁棒性的视觉着陆系统需要可靠的数据集。然而获取此类数据集会影响安全。此外，该系统无法生成可靠的警告，因为在侧风着陆时，跑道元素定位受投影畸变的影响。为此，我们提出通过训练基于提示的气候扩散网络来合成恶劣天气着陆图像。我们还使用新颖的扩散-蒸馏损失优化天气蒸馏模型，以学习清除这些视觉降解。具体而言，蒸馏模型学习与扩散网络的反向关系。在推理时，预训练的蒸馏网络可直接清除气候影响下的 onboard 摄像头图像，可进一步投影到显示设备以提高可见性。随后，针对侧风着陆，我们提出了新的经过正规化的空间变换网络(RuSTaN)模块准确地对着陆图像进行变换。它最小化跑道目标检测器的定位误差，并帮助生成可靠的内部软件警告。最后，我们通过在各种气候降解条件下模拟着陆情景构建了飞机着陆数据集(AIRLAD)，并实验验证了我们的贡献。