用于生成模型的多模态控制器
机器学习
2023-05-09 v7 机器学习
摘要
类条件生成模型是从用户指定类标签生成数据的关键工具。现有的类条件生成模型方法需要对骨干生成架构进行非平凡修改，以建模输入模型的条件信息。本文引入一种名为“多模态控制器”的即插即用模块，可在不引入额外学习参数的情况下生成多模态数据。在缺少控制器时，我们的模型退化为非条件生成模型。我们在 CIFAR10、COIL100 与 Omniglot 基准数据集上测试了多模态控制器的效能。我们证明多模态受控生成模型（包括 VAE、PixelCNN、Glow 与 GAN）相较于条件生成模型能生成质量显著更好的类条件图像。此外，我们展示多模态受控模型还能创造新颖的图像模态。
引用
@article{arxiv.2002.02572,
title = {Multimodal Controller for Generative Models},
author = {Enmao Diao and Jie Ding and Vahid Tarokh},
journal= {arXiv preprint arXiv:2002.02572},
year = {2023}
}