融合类别共性与个性化风格的电商产品背景生成
计算机视觉与模式识别
2025-01-20 v2 人工智能
摘要
当前最先进的电商产品背景生成方法在扩大生产规模时存在设计逐产品提示词效率低下的问题，且在为某些特定品牌定制个性化背景时，难以有效描述细粒度风格。为解决这些障碍，我们将类别共性与个性化风格融合到扩散模型中。具体而言，我们提出了一个 Category-Wise Generator，首次实现仅用单一模型进行大规模背景生成。提示词中的唯一标识符被分配给每个类别，通过掩码引导的交叉注意力层将其注意力定位在背景上，以学习类别级风格。此外，针对在布局、元素等方面具有特定细粒度要求的产品，我们设计了 Personality-Wise Generator，直接从参考图像中学习此类个性化风格以解决文本歧义，并以自监督方式进行训练以提高训练数据的使用效率。为推进该领域的研究，我们构建了首个大规模电商产品背景生成数据集 BG60k，涵盖来自 2k 以上类别的 60k 余张产品图像。实验表明，我们的方法能够为不同类别生成高质量背景，并保持参考图像的个性化背景风格。BG60k 将在 \url{https://github.com/Whileherham/BG60k} 获取。
引用
@article{arxiv.2312.13309,
title = {Generate E-commerce Product Background by Integrating Category Commonality and Personalized Style},
author = {Haohan Wang and Wei Feng and Yaoyu Li and Zheng Zhang and Jingjing Lv and Junjie Shen and Zhangang Lin and Jingping Shao},
journal= {arXiv preprint arXiv:2312.13309},
year = {2025}
}
备注
Accepted by ICASSP 2025