潜在翻译：通过桥接生成模型实现跨模态转换

端到端优化在许多特定问题上取得了最先进的性能，但没有直接的方法将预训练模型组合用于新问题。在此，我们探索通过学习两个现有模型之间的事后接口来解决新任务，从而改进模块化。具体而言，我们从神经机器翻译中汲取灵感，将跨模态域迁移这一挑战性问题视为预训练深度生成模型潜在空间之间的无监督翻译。通过抽象掉数据表示，我们证明可以跨不同模态（例如图像到音频）甚至不同类型的生成模型（例如 VAE 到 GAN）进行迁移。我们与最先进技术进行比较，发现一个直接的变分自编码器能够通过学习共享潜在空间最佳地桥接两个生成模型。我们可以进一步利用共享潜在空间中的分类器对两个域中的属性进行有监督对齐。通过定性和定量评估，我们证明局部性和语义对齐在迁移过程中得以保持，这由高迁移准确率和类内平滑插值所表明。最后，我们展示这种模块化结构通过将接口训练与基础生成模型的昂贵重训练解耦，将新接口模型的训练加速了数个数量级。