面向多视图重建的高光到漫反射转换
计算机视觉与模式识别
2018-07-31 v3
摘要
大多数多视图三维重建算法，尤其是在使用明暗恢复形状线索时，都假设物体外观以漫反射为主。为缓解这一限制，我们提出了 S2Dnet，一种生成对抗网络（GAN），用于将具有镜面反射的物体的多视图转换为漫反射视图，从而更有效地应用多视图重建方法。我们的网络将无监督图像到图像转换扩展到多视图“高光到漫反射”转换。为在多个视图间保持物体外观，我们引入了多视图一致性损失（MVC），用于在视图变换后评估局部块之间的相似性与保真度。我们的 MVC 损失确保了在图像到图像转换下多视图图像间局部对应点的相似性得以保持。结果表明，我们的网络显著优于若干单视图基线技术。此外，我们使用基于物理的渲染精心设计并生成了一个大规模合成训练数据集。在测试时，我们的网络仅以原始光泽图像作为输入，无需分割掩码或光照估计等额外信息。结果表明，使用我们网络滤波后的图像可显著改善多视图重建。我们还展示了在真实世界训练与测试数据上的良好性能。
引用
@article{arxiv.1807.05439,
title = {Specular-to-Diffuse Translation for Multi-View Reconstruction},
author = {Shihao Wu and Hui Huang and Tiziano Portenier and Matan Sela and Danny Cohen-Or and Ron Kimmel and Matthias Zwicker},
journal= {arXiv preprint arXiv:1807.05439},
year = {2018}
}
备注
Accepted to ECCV 2018