利用文本与视觉信息对数字传单中促销内容进行多标签分类

电子商务平台中的商品描述包含关于零售商产品组合的详尽且有价值的信息。其中，数字传单中促销内容的编码在电子商务中备受关注，因为它们通过展示不同商品的常规促销来吸引消费者注意。然而，这些信息嵌入在图像中，难以提取并处理以用于下游任务。本文提出一种端到端方法，利用视觉与文本信息将数字传单中的促销内容分类至相应的商品类别。我们的方法可分为三个关键组件：1) 区域检测，2) 文本识别，3) 文本分类。在许多情况下，单个促销涉及多个商品类别，因此我们在分类头中引入了多标签目标。我们展示了该方法在两个独立任务上的有效性：1) 基于图像检测各独立促销的描述区域，2) 利用商品描述中的文本进行商品类别的多标签分类。我们使用由 Nielsen 获取的数字传单图像构成的私有数据集训练和评估模型。结果表明，在所有实验中我们的方法均以较大优势持续优于所提出的基线。