跨ShapeNet类别的非朗伯物体本征属性学习
计算机视觉与模式识别
2016-12-28 v1
摘要
我们考虑从物体的单幅图像恢复漫反射反照率、着色和镜面高光的非朗伯物体本征问题。我们基于ShapeNet数据库中的现有3D模型构建了一个大规模物体本征数据库。利用真实环境贴图渲染，数百万张物体合成图像及其对应的反照率、着色和镜面真实图像被用于训练一个编码器-解码器CNN。一旦训练完成，该网络可将一幅图像分解为反照率和着色分量的乘积，以及一个加性镜面分量。我们的CNN在这一经典计算机视觉逆问题中给出了准确而清晰的结果，清晰细节归因于从编码器到解码器对应分辨率的跳跃层连接。在我们的ShapeNet和MIT本征数据集上基准测试，我们的模型始终大幅优于state-of-the-art。我们在不同物体类别上训练和测试我们的CNN。也许令人惊讶的是，尤其是从CNN分类视角来看，我们的本征CNN跨类别泛化非常好。我们的分析表明，编码器阶段的特征学习对于发展跨类别的通用表示更为关键。我们将合成数据训练的模型应用于从互联网下载的图像和视频，观察到鲁棒且真实的本征结果。高质量非朗伯本征属性可开启许多有趣应用，如基于图像的反照率和镜面编辑。
引用
@article{arxiv.1612.08510,
title = {Learning Non-Lambertian Object Intrinsics across ShapeNet Categories},
author = {Jian Shi and Yue Dong and Hao Su and Stella X. Yu},
journal= {arXiv preprint arXiv:1612.08510},
year = {2016}
}