基于边缘感知深度-法向一致性的无监督几何学习
计算机视觉与模式识别
2017-11-13 v1
摘要
近年来，通过深度卷积网络(DCN)观看无标签视频来重建单幅图像中的深度正引起显著关注。本文为无监督深度估计框架引入了表面法向表示。我们估计的深度被约束为与预测的法向相容，从而产生更鲁棒的几何结果。具体而言，我们构造了一个边缘感知深度-法向一致性项，并通过在 DCN 内部构建深度到法向层与法向到深度层来求解。深度到法向层以估计深度为输入，基于相邻像素利用叉积计算法向方向。然后在给定估计法向后，法向到深度层通过局部平面平滑输出正则化深度图。两层均在感知图像内边缘的情况下计算，以帮助解决深度/法向不连续问题并保留锐利边缘。最后，为训练网络，我们对深度与法向预测均施加光度误差与梯度平滑。我们在室外(KITTI)与室内(NYUv2)数据集上进行了实验，表明我们的算法大幅优于当前最优(state of the art)，证明了该方法带来的益处。
引用
@article{arxiv.1711.03665,
title = {Unsupervised Learning of Geometry with Edge-aware Depth-Normal Consistency},
author = {Zhenheng Yang and Peng Wang and Wei Xu and Liang Zhao and Ramakant Nevatia},
journal= {arXiv preprint arXiv:1711.03665},
year = {2017}
}
备注
Accepted at AAAI 2018