吸引我购买：融合多模态多结构信息的广告文案生成
计算与语言
2022-05-10 v1 计算机视觉与模式识别
多媒体
摘要
近年来，网络购物已逐渐成为全球人们的常见购物方式。精彩的商品广告常能吸引更多人购买。这些广告恰当融合了商品的多模态多结构信息，如视觉空间信息与细粒度结构信息。然而，传统多模态文本生成侧重于对既有与发生事物的常规描述，不符合现实世界广告文案的需求。因为广告文案具有生动的语言风格与更高的忠实度要求。遗憾的是，目前缺乏可复用的评估框架且数据集稀缺。因此，我们提出一个数据集 E-MMAD（电商多模态多结构广告文案），其要求并支持文本生成中更详尽的信息。值得注意的是，它是该领域最大的视频描述数据集之一。相应地，我们基于结构信息推理提出一种基线方法与忠实度评估指标，以在该数据集上解决现实需求。其在所有指标上大幅超越先前方法。数据集与方法即将发布于 \url{https://e-mmad.github.io/e-mmad.net/index.html}。
引用
@article{arxiv.2205.03534,
title = {Attract me to Buy: Advertisement Copywriting Generation with Multimodal Multi-structured Information},
author = {Zhipeng Zhang and Xinglin Hou and Kai Niu and Zhongzhen Huang and Tiezheng Ge and Yuning Jiang and Qi Wu and Peng Wang},
journal= {arXiv preprint arXiv:2205.03534},
year = {2022}
}