LEGO：通过观看视频一次性联合学习边缘与几何
计算机视觉与模式识别
2018-03-28 v2
摘要
通过深度卷积网络观看无标签视频来学习从单幅图像估计 3D 几何正受到显著关注。本文在流程中引入“3D 尽可能平滑（3D-ASAP）”先验，其实现边缘与 3D 场景的联合估计，在精细结构精度上取得显著提升。具体而言，我们定义 3D-ASAP 先验为：若无非其他线索，从图像中恢复出的任意两点应位于已有平面表面上。我们设计了一个无监督框架，一次性学习边缘与几何（深度、法向）（LEGO）。预测的边缘被嵌入深度与表面法向平滑项中，其中无边缘相隔的像素被约束以满足该先验。在我们的框架中，预测的深度、法向与边缘始终被迫保持一致。我们在 KITTI 上评估估计的几何，在 CityScapes 上进行边缘评估。我们表明，在所有任务（即深度、法向与边缘）中，我们的算法大幅优于其他最先进（SOTA）算法，展示了我们方法的优势。
引用
@article{arxiv.1803.05648,
title = {LEGO: Learning Edge with Geometry all at Once by Watching Videos},
author = {Zhenheng Yang and Peng Wang and Yang Wang and Wei Xu and Ram Nevatia},
journal= {arXiv preprint arXiv:1803.05648},
year = {2018}
}
备注
Accepted to CVPR 2018 as spotlight; Camera ready plus supplementary material. Code will come