具有边界一致性与自注意力的室内深度补全

深度估计特征有助于三维识别。消费级深度相机能够实时捕获深度和彩色图像。然而，光滑、透明或远处的表面无法被传感器正确扫描。因此，从传感深度进行增强和恢复是一项重要任务。深度补全旨在填补传感器未能检测到的空洞，这对机器学习而言仍是一项复杂任务。传统的手工调整方法已达到其极限，而基于神经网络的方法倾向于从周围深度值复制和插值输出。这导致边界模糊，深度图的结构丢失。因此，我们的主要工作是设计一个端到端网络，在改善补全深度图的同时保持边缘清晰度。我们利用先前用于图像修复领域的自注意力机制，在每一层卷积中提取更多有用信息，从而增强补全后的深度图。此外，我们提出了边界一致性概念以提升深度图的质量和结构。实验结果验证了我们的自注意力和边界一致性方案的有效性，其在Matterport3D数据集上优于先前最先进的深度补全工作。我们的代码可在https://github.com/tsunghan-wu/Depth-Completion公开获取。