可变形生成器网络：外观与几何的无监督解耦

我们提出一种可变形生成器模型，以纯粹无监督的方式解耦图像与视频数据中的外观和几何信息。外观生成器网络建模与外观相关的信息，包括颜色、光照、身份或类别，而几何生成器通过生成形变场执行几何扭曲（如旋转和拉伸），该形变场用于扭曲所生成的外观以获得最终图像或视频序列。两个生成器将独立的潜向量作为输入，以从图像或视频序列中解耦外观和几何信息。对于视频数据，引入非线性转移模型到外观和几何生成器中以捕捉随时间变化的动态。所提方案具有通用性，可轻松集成到不同的生成模型中。大量定性与定量实验表明，外观和几何信息可被良好解耦，且学到的几何生成器可便捷迁移到其他图像数据集以促进知识迁移任务。