透过镜面：透明形状的神经 3D 重建
计算机视觉与模式识别
2020-07-24 v2 图形学
摘要
使用少量无约束自然图像恢复透明物体的 3D 形状是一个不适定问题。由折射和反射引起的复杂光路阻碍了传统多视图立体和深度多视图立体解决这一挑战。我们提出了一种基于物理的网络，在已知但任意的环境光照图下，使用手机相机采集的少量图像来恢复透明物体的 3D 形状。我们的新颖贡献包括：一种法线表示，使网络能够通过局部计算对复杂的光传输进行建模；一个对折射和反射进行建模的渲染层；一个专门为透明形状法线精修设计的代价体积；以及一种基于预测法线的用于 3D 点云重建的特征映射。我们渲染了一个合成数据集，以鼓励模型学习不同视图间的折射光传输。我们的实验表明，仅使用少至 5-12 张自然图像即可成功恢复复杂透明形状的高质量 3D 几何结构。代码和数据已公开发布。
引用
@article{arxiv.2004.10904,
title = {Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes},
author = {Zhengqin Li and Yu-Ying Yeh and Manmohan Chandraker},
journal= {arXiv preprint arXiv:2004.10904},
year = {2020}
}
备注
Accepted by CVPR 2020 as an oral presentation