面向无人机户外环境的单目实时场景分析

本论文利用航模上的单目相机在低空非结构化环境中预测深度和语义图。我们提出一种联合深度学习架构，命名为 Co-SemDepth，能够准确且快速地完成这两个任务，并在多种数据集上验证其有效性。神经网络的训练需要大量标注数据，而在无人机领域，这类数据可获得性有限。我们在本论文中引入一个新的合成数据集 TopAir，其中包含在不同高度下采用俯视视角捕获的户外环境图像，有助于填补这一空白。虽然使用合成数据进行训练虽然方便，但在迁移到真实域进行测试时会引发问题。我们进行了广泛的分析研究，评估了若干因素对合成到真实迁移泛化的影响。Co-SemDepth 和 TaskPrompter 模型用于对比。结果揭示了 Co-SemDepth 在深度估计和 TaskPrompter 在语义分割方面的优异泛化性能。此外，我们的分析使我们能够确定哪些训练数据集导致更好的泛化。此外，为进一步减轻合成与真实域之间的差距，探索了图像风格迁移技术用于航模图像，从合成风格转换为真实风格。Cycle-GAN 和扩散模型被采用。结果表明，扩散模型在合成到真实风格迁移方面表现更好。最后，我们聚焦于海洋领域，解决其挑战。Co-SemDepth 在收集的合成海洋数据集 MidSea 上进行训练，并在合成数据和真实数据上进行测试。结果表明，Co-SemDepth 在测试 SMD 数据集上的真实数据时表现出良好的泛化性能，但在 MIT 数据集上仍需进一步提升。