中文

PARASOL:用于扩散图像合成的参数化风格控制

计算机视觉与模式识别 2024-05-03 v3

摘要

我们提出了 PARASOL,一种多模态合成模型,它通过联合以内容和细粒度视觉风格嵌入为条件,实现对图像视觉风格的解耦式参数化控制。我们训练了一个潜在扩散模型(LDM),对每个模态使用特定损失,并调整无分类器引导(classifier-free guidance),以在推理时鼓励对独立的内容与风格模态进行解耦控制。我们利用基于辅助语义和风格的检索来创建训练三元组以监督 LDM,确保内容线索与风格线索的互补性。PARASOL 在扩散模型中实现图像生成与风格化方面细粒度视觉风格控制,以及在生成式检索中通过将内容与风格描述符进行插值使基于文本的检索结果更贴合用户意图方面,展现出潜力。

关键词

引用

@article{arxiv.2303.06464,
  title  = {PARASOL: Parametric Style Control for Diffusion Image Synthesis},
  author = {Gemma Canet Tarrés and Dan Ruta and Tu Bui and John Collomosse},
  journal= {arXiv preprint arXiv:2303.06464},
  year   = {2024}
}

备注

Camera-ready version