利用检索辅助图像生成对电商产品进行场景化布景以用于在线广告
计算机视觉与模式识别
2023-07-31 v1 信息检索
机器学习
摘要
展示电商产品的在线广告通常依赖于电商平台上送至广告平台的产品目录中的产品图像。在更广泛的广告行业中,此类广告被称为动态产品广告(DPA)。DPA目录规模达到数百万量级(对应于电商平台上可购买产品的规模)十分常见。然而,并非目录中所有产品图像在直接复用为广告图像时都具有吸引力,这可能导致较低的点击率(CTR)。特别是,仅置于纯色背景上的产品可能不如自然环境中布景的产品那样诱人且真实。为大规模解决DPA图像的此类缺陷,我们提出一种基于生成对抗网络(GAN)的方法,为未布景的产品图像生成场景化背景。生成整个场景化背景是一项易受幻觉影响的艰巨任务。为此,我们引入一种称为使用检索辅助GAN的复制-粘贴布景的更简单方法。在复制-粘贴布景中,我们首先(从目录中)检索与未布景输入产品相似的已布景产品,然后将检索到产品的背景复制-粘贴到输入图像中。基于GAN的修复模型用于填补此复制-粘贴操作后遗留的空洞。我们通过离线指标与人工评估展示了复制-粘贴布景方法的有效性。此外,我们展示了布景方法如何能够实现运动产品的动画化,从而由产品图像生成视频广告。
引用
@article{arxiv.2307.15326,
title = {Staging E-Commerce Products for Online Advertising using Retrieval Assisted Image Generation},
author = {Yueh-Ning Ku and Mikhail Kuznetsov and Shaunak Mishra and Paloma de Juan},
journal= {arXiv preprint arXiv:2307.15326},
year = {2023}
}
备注
Accepted for publication in AdKDD 2023