基于视觉-语言表示的广告创意设计主题推荐

在线广告行业一直需要更新广告创意，即用于吸引在线用户关注某品牌的图像和文本。此类更新是为了降低在线用户产生广告疲劳的可能性，并融入相关产品类别中其他成功活动的洞察。给定某个品牌，创意策略师构思新广告主题是一个费力且耗时的过程。策略师通常从过往广告活动使用的图像和文本以及关于品牌的常识知识中汲取灵感。为了通过过往广告活动中此类多模态信息源自动推断广告主题，我们提出了一种面向广告创意策略师的主题（关键短语）推荐系统。该主题推荐器基于聚合来自视觉问答（VQA）任务的结果，该任务输入如下内容：(i) 广告图像，(ii) 与广告相关的文本以及广告中品牌的维基百科页面，(iii) 围绕广告的问题。我们利用基于 transformer 的跨模态编码器为我们的 VQA 任务训练视觉-语言表示。我们沿分类与排序的思路研究了 VQA 任务的两种形式；通过在公开数据集上的实验，我们表明跨模态表示带来了显著更好的分类准确率和排序精确率-召回率指标。跨模态表示相比单独的图像和文本表示表现出更优的性能。此外，使用多模态信息相比仅使用文本或视觉信息显示出显著提升。