基于参考图像与草图的结构感知扩散模型图像合成

近期大规模文本到图像生成模型的显著进展在生成高保真图像方面展现出可喜成果。为进一步增强可编辑性并实现细粒度生成，我们引入一种多输入条件图像合成模型，该模型将草图作为一种新颖模态，与参考图像一同引入。得益于使用草图在边缘层级的可控性，我们的方法使用户能够以期望的结构（即草图）与内容（即参考图像）编辑或补全图像的子部分。我们的框架微调一个预训练扩散模型，在保持草图引导的同时利用参考图像补全缺失区域。尽管简单，这为满足用户获取所需图像的广泛需求带来了大量机会。通过大量实验，我们证明所提方法为图像操控提供了独特的用例，支持对任意场景进行用户驱动的修改。