JoIN：面向本征图像分解的联合 GAN 反演

本征图像分解（IID）是一个具有挑战性的逆问题，旨在将自然图像分解为其潜在的本征分量，如反照率与光照。尽管近期的图像分解方法依赖于这些分量上的基于学习的先验，但它们常因先验的联合训练而遭受分量交叉污染，或因在合成数据上训练的先验在真实图像推理时保持冻结而面临仿真到现实的鸿沟。本文提出使用一组生成对抗网络（GANs）作为先验来解决本征图像分解问题，其中每个 GAN 仅针对单一本征分量独立训练，从而提供更强且更解耦的先验。我们方法的核心思想是 GAN 的潜空间非常适合作为求解逆问题的优化域。给定输入图像，我们提出联合反演一组 GAN 的潜码并组合其输出以重建输入。与现有仅限于反演单个 GAN 的 GAN 反演方法不同，我们提出的 JoIN 能够仅以单幅图像作为监督联合反演多个 GAN，同时仍保持各本征分量的分布先验。我们展示了方法的模块化特性，可兼容多种前向成像模型，并能成功分解合成与真实图像。此外，受现有 GAN 反演方法启发，我们允许在真实图像推理时对生成器先验进行精细微调。由此，即便仅使用合成数据训练 GAN 先验，我们的方法也能在真实图像上实现优异的泛化能力。我们通过在不同数据集上的详尽定性与定量评估及消融实验证明了方法的成功。