Correlate-and-Excite：基于引导代价体激励的实时立体匹配
计算机视觉与模式识别
2021-08-13 v1 人工智能
机器学习
摘要
面向立体匹配的体积深度学习方法利用 3D 卷积聚合由输入左右图像计算得到的代价体。近期工作表明，利用提取的图像特征与空间变化的代价体聚合可对 3D 卷积形成补充。然而，现有采用空间变化操作的方法复杂、耗费可观计算时间，并导致内存消耗增加。本工作中，我们构建引导代价体激励(GCE)，表明由图像引导的代价体简单通道激励即可显著提升性能。此外，我们提出一种在 soft-argmin 视差回归前使用 top-k 选择来计算最终视差估计的新方法。结合我们的新贡献，我们提出一个端到端网络，称为 Correlate-and-Excite (CoEx)。我们的模型在 SceneFlow、KITTI 2012 与 KITTI 2015 数据集上的大量实验证明了模型的有效性与高效性，并显示我们的模型优于其他基于速度的算法，同时也与其他 SOTA 算法具有竞争力。代码将发布于 https://github.com/antabangun/coex。
引用
@article{arxiv.2108.05773,
title = {Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
author = {Antyanta Bangunharcana and Jae Won Cho and Seokju Lee and In So Kweon and Kyung-Soo Kim and Soohyun Kim},
journal= {arXiv preprint arXiv:2108.05773},
year = {2021}
}
备注
To appear at IROS 2021. Code is available at https://github.com/antabangun/coex