中文

GBSD:基于阶段扩散的生成式散景

计算机视觉与模式识别 2024-04-18 v3 人工智能

摘要

散景效果是一种将照片中失焦区域模糊化的艺术技法,因近期文本到图像合成的发展以及智能手机相机与照片分享应用的普及而备受关注。先前关于渲染散景效果的工作集中于利用经典计算机图形或神经渲染技术对现有照片进行事后图像操控以产生类似模糊效果,但要么存在深度不连续伪影,要么局限于复现训练数据中已有的散景效果。更近期的基于扩散的模型能合成具艺术风格的图像,但要么需要生成高维掩码、进行昂贵微调,要么影响全局图像特性。本文中,我们提出GBSD,首个合成具散景风格照片级真实感图像的生成式文本到图像模型。受扩散模型中图像渐进式合成启发,我们的方法将潜在扩散模型与两阶段条件算法结合,在语义定义的对象上渲染散景效果。由于可将效果聚焦于对象,该语义散景效果比经典渲染技术更通用。我们从定量与定性两方面评估GBSD,并展示其在文本到图像与图像到图像设定下的应用能力。

关键词

引用

@article{arxiv.2306.08251,
  title  = {GBSD: Generative Bokeh with Stage Diffusion},
  author = {Jieren Deng and Xin Zhou and Hao Tian and Zhihong Pan and Derek Aguiar},
  journal= {arXiv preprint arXiv:2306.08251},
  year   = {2024}
}

备注

Short Version is accepted by International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2024