基于深度学习与合成图像的在轨近距离操作视觉处理流水线

在过去十年中，深度学习已成为图像处理的黄金标准。与此同时，我们看到对卫星维修和碎片清除等轨道活动的兴趣日益增长，这些活动依赖于航天器之间的近距离操作。然而，两个关键挑战目前对将在轨近距离操作的视觉处理中使用深度学习构成了主要障碍。首先，这些技术的有效实现依赖于一个高效的模型开发系统，以简化数据整理、训练和评估。其次，标注训练数据（目标航天器的图像）的稀缺阻碍了鲁棒深度学习模型的创建。本文提出了一个开源深度学习流水线，专为在轨视觉导航应用开发，以应对这些挑战。我们工作的核心是两个基于云架构构建的自定义软件工具，该架构互连了模型开发过程的所有阶段。第一个工具利用开源3D图形工具集Blender生成具有可配置模型位姿（位置和方向）、光照条件、背景以及常见在轨图像像差的标注合成训练数据。第二个工具是一个基于插件的框架，用于高效的数据集整理和模型训练；它为所有项目提供元数据生成和远程存储访问等通用功能，同时给予项目特定代码完全的独立性。耗时的、图形密集型的流程（如合成图像生成和模型训练）运行在基于云的计算资源上，这些资源可扩展至任何规模和预算，并允许从任何机器开发甚至最大的数据集和模型。所提出的系统已在德州航天器实验室使用，在开发速度和质量上取得了显著效益。