将社交媒体时尚知识抽取作为图像描述生成

社交媒体在助推时尚产业方面发挥着重要作用，每天产生海量时尚相关帖子。为从帖子中获取丰富的时尚信息，我们研究社交媒体时尚知识抽取任务。时尚知识通常由场合、人物属性与时尚单品信息组成，可有效表示为一组元组。多数既有时尚知识抽取研究基于时尚产品图像，未考虑社交媒体帖子中的丰富文本信息。现有社交媒体时尚知识抽取工作基于分类，需事先人工确定一组时尚知识类别。本文中，我们提出将该任务视为图像描述生成问题，以捕捉多模态帖子信息的相互作用。具体而言，我们通过句子转换方法将时尚知识元组转化为自然语言描述。我们的框架旨在直接从社交媒体帖子生成基于句子的时尚知识。受预训练模型巨大成功的启发，我们基于多模态预训练生成模型构建模型，并设计若干辅助任务以增强知识抽取。由于暂无可直接用于本任务的数据集，我们引入一个含人工时尚知识标注的社交媒体帖子数据集。我们进行了大量实验以证明模型的有效性。