生成网络中的物理信息引导解耦

图像到图像翻译（i2i）网络在目标域存在物理相关现象（如遮挡、雾等）时会出现纠缠效应，整体降低翻译质量、可控性与多样性。在本文中，我们提出一个通用框架来解耦目标图像中的视觉特征。首先，我们基于一组简单物理模型，以渲染部分目标特征的物理模型引导解耦，并学习其余特征。由于物理允许显式且可解释的输出，我们的物理模型（在目标上最优回归）能够以可控方式生成未见场景。其次，我们展示了该框架对神经引导解耦的通用性，即在物理模型不可直接获取时以生成网络替代物理模型。总体而言，我们引入了三种解耦策略，分别由完全可微物理模型、（部分）不可微物理模型或神经网络引导。结果表明，我们的解耦策略在若干具有挑战性的图像翻译场景中在定性与定量上大幅提升了性能。