时序立体匹配：面向扩展现实的 100+ FPS 视频立体匹配
计算机视觉与模式识别
2023-09-11 v1
摘要
实时立体匹配是许多扩展现实（XR）应用的基石算法，例如室内 3D 理解、视频透视和混合现实游戏。尽管深度立体方法取得了显著进展，但在低功耗设备上实现高精度的实时深度推断仍是一项重大挑战。主要困难之一是缺乏由头戴式 VR/AR 眼镜捕获的高质量室内视频立体训练数据集。为解决此问题，我们引入了一种新颖的视频立体合成数据集，其包含各种室内场景的真实感渲染以及由 6 自由度移动的 VR/AR 头戴式显示器（HMD）捕获的真实相机运动。这有助于评估现有方法并推动室内增强现实场景的进一步研究。我们新提出的数据集使我们能够开发一种用于连续视频帧率立体匹配的新框架。作为另一贡献，我们的数据集使我们能够提出一种专为 XR 应用量身定制的基于视频的立体匹配方法，该方法在标准台式机上以令人印象深刻的 134fps 实现实时推断，或在电池供电的 HMD 上以 30fps 实现实时推断。我们的核心见解是，视差与上下文信息在连续立体帧之间高度相关且冗余。通过在时间上（即时间维度）展开迭代代价聚合，我们能够在时间上分配并重用聚合特征。这种方法在不牺牲精度的情况下大幅减少了计算量。我们进行了广泛的评估与比较，并证明我们的方法相比当前最先进水平实现了更优性能，使其成为 VR/AR 应用中实时立体匹配的有力竞争者。
引用
@article{arxiv.2309.04183,
title = {Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality},
author = {Ziang Cheng and Jiayu Yang and Hongdong Li},
journal= {arXiv preprint arXiv:2309.04183},
year = {2023}
}