基于多模态提示学习的极少标注产品标题生成

为产品生成信息丰富且吸引人的标题是电子商务中的关键任务。大多数现有工作遵循标准的多模态自然语言生成方法（如图像描述），并利用大规模人工标注数据集来训练理想模型。然而，对于新颖产品，尤其是跨域产品，现有标注数据极少。本文提出一种基于提示的方法，即多模态提示学习框架，以在极少标注下准确高效地生成新颖产品标题。我们观察到新颖产品标题生成的核心挑战在于理解新颖产品特征以及以新颖写作风格生成标题。为此，我们从不同模态构建一组多模态提示，以保留新颖产品相应的特征与写作风格。因此，在极少标注用于训练的情况下，所提方法可检索多模态提示为新奇产品生成理想标题。实验与分析在五种新颖产品类别下、于域内与域外实验设置中进行。结果表明：仅使用1%的下游标注数据训练时，我们的方法取得了最佳的少样本结果，甚至与在100%训练数据上训练的全监督方法具有竞争力；使用全部标注数据训练时，我们的方法达到了最先进结果。