StyleGAN 已知法线、深度、反照率及更多

本征图像在原始意义上是指深度、法线、反照率或光照等场景属性的类图像映射。本文证明 StyleGAN 可以轻易地被诱导生成本征图像。过程很直接。我们展示，若 StyleGAN 从潜变量 ${w}$ 生成 $G({w})$，则对每种本征图像，存在一个固定偏移 ${d}_c$，使得 $G({w}+{d}_c)$ 为 $G({w})$ 的该类本征图像。此处 ${d}_c$ 与 ${w}$ 无关。我们使用的 StyleGAN 由他人预训练，因此该性质并非我们训练方案所致的偶然。我们展示存在 StyleGAN 不会以这种方式产生的图像变换，故 StyleGAN 并非通用的图像回归引擎。一个图像生成器能够“知道”并表征本征图像，这在概念上令人振奋。使用生成模型生成本征图像也可能具有实际优势。从 StyleGAN 获得的本征图像在定性与定量上均与使用 SOTA 图像回归技术所得结果相当；但不同于 SOTA 方法，StyleGAN 的本征图像对重光照效应具有鲁棒性。