基于野外照片集的材质与光照联合估计
图形学
2017-11-15 v2
摘要
若能可靠地将外观分解为材质（即漫反射和镜面反射）与光照（即环境贴图），将极大地有益于对 2D 互联网图像中形状、材质和光照的真实操控。一方面，当前产生极高保真度结果的方法通常需要受控设置、昂贵设备或大量人工努力。另一方面，自动化且适用于“野外”互联网图像的方法往往仅提取低频光照或漫反射材质。在本工作中，我们提议利用一组照片，在非受控环境下联合估计非漫反射材质和锐利光照。我们的关键观察是，观察同一材质在不同光照（即环境）下的多个实例，以及不同材质在同一光照下的多个实例，提供了有价值的约束，可利用这些约束为所有观测到的材质和环境生成高质量解（即镜面材质和环境光照）。在单一环境中观察多种材质，或在多种环境中观察单一材质时，也会出现类似的约束。该方法的核心是一个优化过程，它使用两个在合成图像上训练的神经网络，以根据反射光的观测值预测参数空间中的良好梯度。我们在一系列合成和真实示例上评估了我们的方法以生成高质量估计，通过用户研究将我们的结果与最先进替代方案进行定性比较，并展示了否则难以实现的照片一致性图像操控。
引用
@article{arxiv.1710.08313,
title = {Joint Material and Illumination Estimation from Photo Sets in the Wild},
author = {Tuanfeng Y. Wang and Tobias Ritschel and Niloy J. Mitra},
journal= {arXiv preprint arXiv:1710.08313},
year = {2017}
}