混合现实中基于语义分割与可见性渲染的遮挡处理
计算机视觉与模式识别
2017-08-01 v1
摘要
实时遮挡处理是户外混合现实系统中的一个主要问题，因为它需要巨大的计算成本，主要源于场景的复杂性。仅使用分割技术，难以精确渲染被树木、灌木等复杂物体遮挡的虚拟对象。本文提出了一种新颖的遮挡处理方法，用于实时、户外、全向混合现实系统，仅使用单目图像序列的信息。我们首先提出一种语义分割方案，用于预测场景中不同类型物体的可见程度。同时，我们利用由光流导出的深度估计计算前景概率图。最后，我们结合分割结果与概率图，使用基于可见性的渲染方法来渲染计算机生成的对象与真实场景。结果表明，与现有的基于混合的方法相比，我们的方法在处理遮挡方面有显著改进。
引用
@article{arxiv.1707.09603,
title = {Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality},
author = {Menandro Roxas and Tomoki Hori and Taiki Fukiage and Yasuhide Okamoto and Takeshi Oishi},
journal= {arXiv preprint arXiv:1707.09603},
year = {2017}
}