PluGeN：基于预训练模型的多标签条件生成
机器学习
2022-01-05 v2
摘要
现代生成模型在包括图像或文本生成以及化学分子建模的多种任务中取得优异质量。然而，现有方法常缺乏生成具所求属性样本（如照片中人的年龄或生成分子的重量）的关键能力。引入此类额外条件因素需重建整个架构并从头优化参数。此外，难以解耦选定属性，从而仅编辑某一属性而保持其他不变。为克服这些局限，我们提出 PluGeN（Plugin Generative Network，插件生成网络），一种简单而有效的生成技术，可用作预训练生成模型的插件。我们方法的核心思想是通过基于流的模块将纠缠的潜表示变换至多维空间，其中各属性的值被建模为独立的一维分布。因此，PluGeN 能生成具期望属性的新样本，并操纵已有样本的标签属性。由于潜表示的解耦，我们甚至能生成数据集中罕见或未见的属性组合样本，如灰发年轻人、带妆男性或蓄须女性。我们将 PluGeN 与 GAN 和 VAE 模型结合，应用于图像与化学分子建模的条件生成与操纵。实验表明 PluGeN 在保留骨干模型质量的同时，增添了控制标签属性值的能力。
引用
@article{arxiv.2109.09011,
title = {PluGeN: Multi-Label Conditional Generation From Pre-Trained Models},
author = {Maciej Wołczyk and Magdalena Proszewska and Łukasz Maziarka and Maciej Zięba and Patryk Wielopolski and Rafał Kurczab and Marek Śmieja},
journal= {arXiv preprint arXiv:2109.09011},
year = {2022}
}