MACARONS：基于 RGB 在线自监督的建图与覆盖预测

我们提出一种方法，仅从彩色图像中同时学习探索新的大型环境并以三维方式重建它们。这与下一最佳视角问题（NBV）密切相关，该问题需要确定相机下一步移动到何处以改善对未知场景的覆盖。然而，当前大多数 NBV 方法依赖深度传感器、需要三维监督且/或无法扩展到大型场景。我们的方法仅需彩色相机且无需三维监督。它以自监督方式同时学习从彩色图像预测“体素占据场”，并基于该场预测 NBV。得益于该方法，我们的方法在新场景上表现良好，因为它不受任何训练三维数据的偏置影响。我们在一个由多种三维场景组成的最新数据集上证明了这一点，并展示其表现甚至优于近期需要深度传感器的方法，而对于由飞行无人机捕获的室外场景而言，深度传感器并非现实假设。