NeTO：基于自遮挡感知折射追踪的透明物体神经重建
计算机视觉与模式识别
2023-09-11 v4 人工智能
摘要
我们提出了一种称为NeTO的新方法，通过体渲染从2D图像捕获实体透明物体的3D几何。重建透明物体是一项非常具有挑战性的任务，由于镜面光传输现象，它不适合通用重建技术。尽管现有专为此任务设计的基于折射追踪的方法取得了令人印象深刻的结果，但它们仍然遭受不稳定的优化和细节丢失，因为它们采用的显式表面表示难以优化，且折射追踪中忽略了自遮挡问题。在本文中，我们提出利用隐式有符号距离函数（SDF）作为表面表示，并通过具有自遮挡感知折射光线追踪的体渲染来优化SDF场。隐式表示使我们的方法即使在使用有限图像集时也能进行高质量重建，而自遮挡感知策略使我们的方法能够准确重建自遮挡区域。实验表明，我们的方法实现了忠实的重建结果，并大幅优于先前工作。访问我们的项目页面：https://www.xxlong.site/NeTO/
引用
@article{arxiv.2303.11219,
title = {NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing},
author = {Zongcheng Li and Xiaoxiao Long and Yusen Wang and Tuo Cao and Wenping Wang and Fei Luo and Chunxia Xiao},
journal= {arXiv preprint arXiv:2303.11219},
year = {2023}
}