TR0N：用于零样本即插即用条件生成的翻译器网络
机器学习
2023-04-28 v1 人工智能
机器学习
摘要
我们提出TR0N，一个高度通用的框架，用于将预训练的无条件生成模型（如GAN和VAE）转变为条件模型。条件可以是高度任意的，且仅需一个预训练的辅助模型。例如，我们展示了如何借助分类器将无条件模型转变为类条件模型，以及通过利用CLIP转变为文本到图像模型。TR0N学习一个轻量级随机映射，它在条件空间与生成模型的潜在空间之间“翻译”，使得生成的潜变量对应于满足期望条件的数据样本。翻译后的潜变量样本随后通过朗之万动力学进一步优化，使我们能够获得更高质量的数据样本。TR0N无需训练数据也无需微调，却能在MS-COCO上实现10.9的零样本FID，不仅在该指标上超越竞争替代方案，而且在采样速度上亦如此——同时保持远高于它们的通用性。我们的代码可在 https://github.com/layer6ai-labs/tr0n 获取。
引用
@article{arxiv.2304.13742,
title = {TR0N: Translator Networks for 0-Shot Plug-and-Play Conditional Generation},
author = {Zhaoyan Liu and Noel Vouitsis and Satya Krishna Gorti and Jimmy Ba and Gabriel Loaiza-Ganem},
journal= {arXiv preprint arXiv:2304.13742},
year = {2023}
}
备注
Accepted at ICML 2023