利用扩散模型在图像中进行自动虚拟产品放置与评估
计算机视觉与模式识别
2024-05-03 v1
摘要
在虚拟产品放置（VPP）应用中，将特定品牌产品离散地整合到图像或视频中已成为一项具有挑战性却又重要的任务。本文引入了一种新颖的三阶段全自动 VPP 系统。在第一阶段，语言引导的图像分割模型识别图像内用于产品图像修复的最佳区域。在第二阶段，使用通过少量产品图像示例微调的 Stable Diffusion (SD)，将产品修复到先前识别出的候选区域中。最后阶段引入了“对齐模块”，旨在有效筛除低质量图像。综合实验表明，对齐模块确保了每张生成图像中均存在目标产品，并将图像的平均质量提升了 35%。本文呈现的结果证明了所提出的 VPP 系统的有效性，该系统在改变虚拟广告和营销策略格局方面具有巨大潜力。
引用
@article{arxiv.2405.01130,
title = {Automated Virtual Product Placement and Assessment in Images using Diffusion Models},
author = {Mohammad Mahmudul Alam and Negin Sokhandan and Emmett Goodman},
journal= {arXiv preprint arXiv:2405.01130},
year = {2024}
}
备注
Accepted at the 6th AI for Content Creation (AI4CC) workshop at CVPR 2024