快乐的人——将深度生成模型离散潜空间中的图像合成作为黑盒优化问题
计算机视觉与模式识别
2023-06-13 v1
摘要
近年来，在深度生成模型所学潜空间中的优化已成功应用于药物设计、图像生成或神经架构搜索等黑盒优化问题。现有模型借此利用神经模型从有限样本中学习数据分布的能力，从而可以从中抽取该分布的新样本。在本文中，我们提出一种新颖的图像生成方法，该方法针对连续可量化属性对生成样本进行优化。尽管我们预期所提框架在实际上并无任何有意义的应用，但它在理论上是严谨的，并能够快速提出处于训练数据分布边缘的样本。具体而言，我们提出将基于树的集成模型用作向量量化VAE离散潜空间上的数学规划，该规划可被全局求解。随后在这些查询上的加权重训练可诱导分布偏移。在缺乏实际相关问题的情形下，我们考虑了一个视觉上吸引人的应用：生成开心微笑的人脸（而训练分布仅包含较不快乐的人）——并展示了我们的方法在相比基线方法改进的FID和更高微笑程度方面的严谨行为。
引用
@article{arxiv.2306.06684,
title = {Happy People -- Image Synthesis as Black-Box Optimization Problem in the Discrete Latent Space of Deep Generative Models},
author = {Steffen Jung and Jan Christian Schwedhelm and Claudia Schillings and Margret Keuper},
journal= {arXiv preprint arXiv:2306.06684},
year = {2023}
}
备注
CVPR 2023 workshop: Generative Models for Computer Vision