半参数神经图像合成

新近架构改进了生成式图像合成，在多项任务中取得了优异视觉质量。这一成功很大程度上归因于这些架构的可扩展性，并因此由模型复杂度的急剧增加及训练所投入计算资源的大幅增长所致。我们的工作质疑将大型训练数据压缩进不断增大的参数化表示这一潜在范式。我们转而提出一种正交的半参数方法。我们用独立的图像数据库与检索策略补充规模较小的扩散或自回归模型。训练时，我们为该外部数据库中每个训练实例检索一组最近邻，并基于这些信息样本对生成模型进行条件化。检索方法提供（局部）内容，而模型专注于基于该内容学习场景组合。如实验所示，仅需将数据库替换为不同内容者，即可将训练好的模型事后迁移至新领域。评估表明，在生成模型未经训练的任务上（如类条件合成、零样本风格化或无需配对文本-图像数据的文本到图像合成）具有竞争力。外部数据库与检索带来的内存与计算开销可忽略，我们得以显著减少生成模型参数量，同时仍优于最先进水平。