Diffusion Brush：基于潜在扩散模型的 AI 生成图像编辑工具
计算机视觉与模式识别
2023-10-31 v2 人工智能
计算与语言
机器学习
摘要
文本到图像生成模型在生成高质量图像方面取得了显著进展。然而，由于模型局限，生成的图像常包含不希望的伪影或其他错误。现有的微调生成图像的技术耗时（手动编辑）、产生整合不佳的结果（修复），或导致整幅图像发生意料之外的改变（变体选择与提示微调）。本工作中，我们提出 Diffusion Brush，一种基于潜在扩散模型（LDM）的工具，用于高效微调 AI 合成图像中的目标区域。我们的方法在反向扩散过程中于目标区域引入新的随机噪声模式，使模型能高效修改指定区域，同时保留图像其余部分的原始上下文。我们通过一项针对艺术家的用户研究评估方法的可用性与有效性，将我们的技术与其他最先进的图像修复技术和用于微调 AI 生成图像的编辑软件进行比较。
引用
@article{arxiv.2306.00219,
title = {Diffusion Brush: A Latent Diffusion Model-based Editing Tool for AI-generated Images},
author = {Peyman Gholami and Robert Xiao},
journal= {arXiv preprint arXiv:2306.00219},
year = {2023}
}