StereoNet：用于实时边缘感知深度预测的引导式分层细化网络
计算机视觉与模式识别
2018-07-25 v1
摘要
本文提出 StereoNet，首个用于实时立体匹配的端到端深度架构，在 NVidia Titan X 上以 60 fps 运行，生成高质量、保持边缘、无量化的视差图。本文的一个关键洞见是，该网络实现的亚像素匹配精度比传统立体匹配方法高一个数量级。这使我们能够通过使用极低分辨率代价体实现实时性能，该代价体编码了实现高视差精度所需的全部信息。空间精度通过采用学习型边缘感知上采样函数获得。我们的模型使用 Siamese 网络从左右图像提取特征。视差的首次估计在极低分辨率代价体中计算，随后模型通过学习型上采样函数分层地重新引入高频细节，该函数使用紧凑的像素到像素细化网络。利用彩色输入作为引导，该函数能够生成高质量的边缘感知输出。我们在多个基准上取得了引人注目的结果，展示了所提方法在可接受的计算预算下提供的极大灵活性。
引用
@article{arxiv.1807.08865,
title = {StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction},
author = {Sameh Khamis and Sean Fanello and Christoph Rhemann and Adarsh Kowdle and Julien Valentin and Shahram Izadi},
journal= {arXiv preprint arXiv:1807.08865},
year = {2018}
}
备注
ECCV 2018