注意力遇见几何：用于一致自监督单目深度估计的几何引导时空注意力
计算机视觉与模式识别
2021-10-18 v1
摘要
在自监督单目深度预测流程中，在一组时间连续的图像上推断几何一致的稠密 3D 场景仍具挑战性。本文探讨了日益流行的 transformer 架构，连同新颖的正则化损失形式，如何能在保持精度的同时改善深度一致性。我们提出一个空间注意力模块，将粗深度预测相关联以聚合局部几何信息。一种新颖的时间注意力机制进一步在连续图像的全局上下文中处理局部几何信息。此外，我们引入帧间由光度循环一致性正则化的几何约束。通过结合我们提出的正则化与新颖的时空注意力模块，我们充分利用单目帧间基于几何与表观的一致性。这产生了具有几何意义的注意力，并相较先前方法改善了时间深度稳定性与精度。
引用
@article{arxiv.2110.08192,
title = {Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation},
author = {Patrick Ruhkamp and Daoyi Gao and Hanzhi Chen and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2110.08192},
year = {2021}
}
备注
Accepted at 3DV 2021