通过隐式深度实现的虚拟遮挡
计算机视觉与模式识别
2023-05-12 v1
摘要
对于增强现实（AR）而言，虚拟资产看似“置身于”真实世界物体之中十分重要。基于合理的深度排序，虚拟元素应分别以遮挡和被真实物质遮挡的方式呈现。随着观看者相机移动，该遮挡应在时间上保持一致。不幸的是，场景深度估计中的微小错误便会破坏下游遮挡掩码，进而破坏AR错觉。尤其在实时设置中，边界附近或跨时间的推断深度可能不一致。在本文中，我们质疑将深度回归作为中间步骤的必要性。我们转而提出一种深度的隐式模型，并用以直接预测遮挡掩码。我们网络的输入为一幅或多幅彩色图像，加上任意虚拟几何体的已知深度。我们展示了我们的遮挡预测比源自传统深度估计模型的预测更准确且时间上更稳定。我们在具挑战性的ScanNetv2数据集上取得了state-of-the-art的遮挡结果，并在真实场景上获得了更优的定性结果。
引用
@article{arxiv.2305.07014,
title = {Virtual Occlusions Through Implicit Depth},
author = {Jamie Watson and Mohamed Sayed and Zawar Qureshi and Gabriel J. Brostow and Sara Vicente and Oisin Mac Aodha and Michael Firman},
journal= {arXiv preprint arXiv:2305.07014},
year = {2023}
}
备注
Accepted to CVPR 2023