透视玻璃：透明容器内物体的神经三维重建
计算机视觉与模式识别
2023-03-27 v1
摘要
本文定义了一项新问题：恢复被限制在透明容器内的物体的三维几何。我们也提出了解决这一挑战性问题的新方法。透明容器在不同传播介质（如空气或玻璃）界面处带来多次光反射与折射的挑战。这些多次反射与折射导致严重的图像畸变，使单视角假设失效。因此，此类物体的三维几何无法用现有方法（如传统运动恢复结构或现代神经重建方法）可靠重建。我们通过将场景显式建模为透明容器内、外两个不同子空间来解决该问题。我们使用现有神经重建方法（NeuS）隐式表示内部子空间的几何与外观。为解释复杂光交互，我们开发了一种结合体渲染与光线追踪的混合渲染策略。随后通过最小化真实图像与混合渲染图像之间的差异来恢复模型的底层几何与外观。我们在合成与真实数据上评估了方法。实验结果表明我们的方法优于SOTA方法。代码与数据将发布于 https://github.com/hirotong/ReNeuS
引用
@article{arxiv.2303.13805,
title = {Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container},
author = {Jinguang Tong and Sundaram Muthu and Fahira Afzal Maken and Chuong Nguyen and Hongdong Li},
journal= {arXiv preprint arXiv:2303.13805},
year = {2023}
}
备注
Accepted to CVPR2023