解渲染世界革命性文物
计算机视觉与模式识别
2021-09-01 v2 图形学
摘要
近期工作在无监督图像解渲染方面展示了令人兴奋的结果——学习从单图像集合中分解3D形状、外观与光照而无需显式监督。然而，其中许多假设了简化的材质与光照模型。我们提出一种称为RADAR的方法，可从真实单图像集合中恢复环境光照与表面材质，既不依赖显式3D监督，也不依赖多视图或多光照图像。具体而言，我们关注具有包括镜面反射等挑战性表面属性的旋转对称文物，例如花瓶。我们引入一种新颖的自监督反照率判别器，使模型能够在训练期间无需任何真值即可恢复合理反照率。结合利用旋转对称性的形状重建模块，我们提出了一个能够解渲染世界革命性端到端学习框架。我们在真实花瓶数据集上进行了实验，展示了引人注目的分解结果，支持包括自由视点渲染与重光照在内的应用。
引用
@article{arxiv.2104.03954,
title = {De-rendering the World's Revolutionary Artefacts},
author = {Shangzhe Wu and Ameesh Makadia and Jiajun Wu and Noah Snavely and Richard Tucker and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2104.03954},
year = {2021}
}
备注
CVPR 2021. Project page: https://sorderender.github.io/