使用基于分数的生成模型进行分解与组合
计算机视觉与模式识别
2023-02-07 v1
摘要
尽管基于分数的生成模型（或扩散模型）在图像合成中取得了成功，但它们通常与文本数据或图像标签结合，以便能够操控和有条件地生成图像。即使通过改变文本提示来操控图像是可能的，我们对文本嵌入的理解以及修改它来编辑图像的能力仍然相当有限。为了在图像操控和条件生成方面拥有更多控制权，我们提出以无监督的方式学习图像组件，从而能够以知情的方式组合这些组件来生成和操控图像。受基于能量的模型的启发，我们将不同的分数分量解释为不同能量函数的梯度。我们展示了基于分数的学习如何使我们能够学习到有趣的组件，并通过生成将其可视化。我们还展示了这种新颖的分解如何使我们能够以类似梦境的有趣方式组合、生成和修改图像。我们在https://github.com/sandeshgh/Score-based-disentanglement上公开了代码。
引用
@article{arxiv.2302.02272,
title = {Divide and Compose with Score Based Generative Models},
author = {Sandesh Ghimire and Armand Comas and Davin Hill and Aria Masoomi and Octavia Camps and Jennifer Dy},
journal= {arXiv preprint arXiv:2302.02272},
year = {2023}
}