BFS: 基于知识迁移的分层图像生成

随着生成模型不断拓展视觉内容创作的可能性，分层图像合成已成为可控且富有创造力的编辑的一个有前景的方向。然而，现有方法仍难以充分实现这一潜力。分解导向的方法常因干净的分离困难而受限，而生成导向的方法则因训练数据获取困难，导致质量和场景多样性受到影响。本文提出 BFS，一种新颖的基于生成的分层图像合成框架。具体而言，给定背景图像和用户指导，BFS 合成一个前景层，该层不仅包含前景对象，还包含其相关视觉效果，如阴影和反射，同时与背景无缝融合以产生连贯的合成图像。为克服数据稀缺问题，实现多样且高质量的前景层合成，我们利用无分层图像合成更易学习的知识进行前景合成。为此，我们采用一种双分支扩散框架，其中两个相互连接的分支分别生成合成图像和前景层，实现双向知识迁移。基于此框架，我们提出一种两阶段训练方案，使用高质量无分层合成图像数据集有效提升前景质量。大量实验（包括用户研究）表明，BFS 能产生高质量的分层图像，持续优于先前方法。