航空影像识别中的双重局部-全局上下文路径

视觉上下文在目标识别中很重要，且在计算机视觉中仍是一个开放问题。随着深度卷积神经网络（CNN）的出现，在文献中开始关注将此类系统与上下文信息结合使用。同时，航空影像正获得势头。虽然深度学习的进展在航空图像分析中取得良好进步，该问题仍带来许多巨大挑战。航空图像常在不良光照条件下拍摄并包含低分辨率物体，多次被树木或更高建筑遮挡。在该领域，特别是视觉上下文可能大有助益，但考虑航空图像理解中上下文的论文仍很少。这里我们引入上下文作为识别物体的补充方式。我们提出双流深度神经网络模型，沿两个独立路径处理信息，一个用于局部，另一个用于全局视觉推理。两者稍后在处理的最后层结合。我们的模型学习同时并以互补方式组合局部物体外观以及来自更大场景的信息，从而它们一起形成强大的分类器。我们在航空图像中建筑物和道路分割任务上测试我们的双流网络，并在Massachusetts Buildings Dataset上获得最先进结果。我们还引入两个新数据集，分别用于建筑物和道路分割，并研究局部外观与更大场景的相对重要性，以及它们结合时的性能。虽然我们的局部-全局模型也可能用于一般识别任务，我们清晰展示了视觉上下文结合深度网络用于航空图像理解的有效性。