条件学习中快速思考初始化器与慢速思考求解器的协同训练

本文研究在给定输入的条件下学习高维输出条件分布的问题，其中输出与输入可能属于两个不同的域，例如输出为照片图像而输入为草图图像。我们通过协同训练一个快速思考初始化器和一个慢速思考求解器来解决该问题。初始化器通过对输入以及表征输出中潜在可变性的噪声向量进行非线性变换，直接生成输出。慢速思考求解器以条件能量函数的形式学习一个目标函数，从而可通过优化该目标函数（或更严格地通过从基于条件的能量模型采样）来生成输出。我们提出联合学习这两个模型，其中快速思考初始化器用于初始化慢速思考求解器的采样，而求解器通过迭代算法对初始输出进行精炼。求解器从精炼输出与观测输出之间的差异中学习，而初始化器从求解器如何精炼其初始输出中学习。我们在各种条件学习任务上展示了所提方法的有效性，例如类到图像生成、图像到图像翻译以及图像恢复。我们的方法相对于基于 GAN 的方法的优势在于，我们的方法配备了一个由学习到的目标函数引导的慢速思考过程来对解进行精炼。