野外环境下的三维物体反渲染
计算机视觉与模式识别
2022-09-28 v2
摘要
随着增强现实与虚拟现实应用（XR）受到越来越多的关注，对能够从图像和视频中将物体提取为适用于各种相关三维任务表示的需求也随之增长。XR 设备与大规模应用意味着我们不能仅依赖监督学习，因为对现实世界中无限多样的物体进行数据收集与标注是不可行的。我们提出了一种弱监督方法，能够将物体的单张图像分解为形状（深度与法线）、材质（反照率、反射率与光泽度）以及全局光照参数。在训练时，该方法仅依赖训练物体的粗略初始形状估计来引导学习过程。这种形状监督可例如来自预训练的深度网络，或更一般地来自传统的运动恢复结构（structure-from-motion）流程。在实验中，我们表明该方法能成功将二维图像反渲染为分解的三维表示，并可泛化至未见过的物体类别。由于在缺乏真值数据的情况下野外评估较为困难，我们还引入了一个照片级真实感的合成测试集，以支持定量评估。
引用
@article{arxiv.2201.02279,
title = {De-rendering 3D Objects in the Wild},
author = {Felix Wimbauer and Shangzhe Wu and Christian Rupprecht},
journal= {arXiv preprint arXiv:2201.02279},
year = {2022}
}