规划与渲染：基于扩散模型的产品海报生成

产品海报生成显著优化了设计效率并降低了生产成本。现有方法主要依赖图像修复方法为给定产品生成干净的背景图像，随后使用海报布局生成方法生成相应的布局结果。然而，由于背景图像的复杂性，其可能不适合容纳文本内容，且产品的固定位置限制了布局结果的多样性。为缓解这些问题，我们提出了一种基于扩散模型的新型产品海报生成框架 P&R。P&R 从设计师创建海报的工作流程中汲取灵感，包含两个阶段：规划与渲染。在规划阶段，我们提出了 PlanNet，综合考虑产品的外观特征和文本的语义特征，生成产品及其他视觉组件的布局，从而提高布局的多样性和合理性。在渲染阶段，我们提出了 RenderNet，在考虑已生成布局的同时为产品生成背景，并引入空间融合模块来融合不同视觉组件的布局。为推动该领域的发展，我们提出了首个产品海报生成数据集 PPG30k，包含 3 万张精美的产品海报图像以及全面的图像和文本标注。我们的方法在 PPG30k 上优于 SOTA 的产品海报生成方法。PPG30k 即将发布。