HITNet：用于实时立体匹配的分层迭代块细化网络
计算机视觉与模式识别
2023-01-23 v5
摘要
本文提出 HITNet，一种用于实时立体匹配的新型神经网络架构。与许多近期在完整代价体(cost volume)上操作并依赖 3D 卷积的神经网络方法不同，我们的方法不显式构建代价体，而是依靠快速多分辨率初始化步骤、可微 2D 几何传播与扭曲机制来推断视差假设。为达到高准确度，我们的网络不仅从几何上推理视差，还推断倾斜平面假设，从而能更准确地执行几何扭曲与上采样操作。我们的架构本质上是多分辨率的，允许信息在不同层级间传播。多个实验证明了所提方法的有效性，其计算量仅为最先进方法的一小部分。在撰写本文时，HITNet 在 ETH3D 网站发布的所有双视图立体指标上排名 1-3，在 Middlebury-v3 的所有端到端学习方法中最多项指标排名第 1，在流行的 KITTI 2012 与 2015 基准上于已发表且速度快于 100ms 的方法中排名第 1。
引用
@article{arxiv.2007.12140,
title = {HITNet: Hierarchical Iterative Tile Refinement Network for Real-time Stereo Matching},
author = {Vladimir Tankovich and Christian Häne and Yinda Zhang and Adarsh Kowdle and Sean Fanello and Sofien Bouaziz},
journal= {arXiv preprint arXiv:2007.12140},
year = {2023}
}
备注
The pretrained models used for submission to benchmarks and sample evaluation scripts can be found at https://github.com/google-research/google-research/tree/master/hitnet