NeW CRFs：用于单目深度估计的神经窗口全连接CRFs
计算机视觉与模式识别
2022-06-07 v2
摘要
从单幅图像中估计精确深度具有挑战性，因为它本质上是模糊且不适定的。虽然近期工作设计了日益复杂和强大的网络来直接回归深度图，我们则采用CRFs优化的路径。由于计算代价高昂，CRFs通常在邻域间而非整个图上进行。为利用全连接CRFs的潜力，我们将输入分割为窗口并在每个窗口内执行FC-CRFs优化，这降低了计算复杂度并使FC-CRFs可行。为更好地捕捉图中节点间的关系，我们利用多头注意力机制计算多头势函数，并将其输入网络以输出优化后的深度图。随后我们构建了自底向上再自顶向下的结构，其中该神经窗口FC-CRFs模块作为解码器，视觉Transformer作为编码器。实验表明，与先前方法相比，我们的方法在KITTI和NYUv2数据集上的所有指标均显著提升。此外，所提方法可直接应用于全景图像，并在MatterPort3D数据集上优于所有先前的全景方法。项目页面：https://weihaosky.github.io/newcrfs。
引用
@article{arxiv.2203.01502,
title = {NeW CRFs: Neural Window Fully-connected CRFs for Monocular Depth Estimation},
author = {Weihao Yuan and Xiaodong Gu and Zuozhuo Dai and Siyu Zhu and Ping Tan},
journal= {arXiv preprint arXiv:2203.01502},
year = {2022}
}
备注
Accepted by CVPR 2022