学习嵌入：采用基于Transformer的模型进行电子商务商品表示学习

学习电商目录中大量商品的低维表示至关重要，因其有助于商品排序、商品推荐、相似商品查找、用户行为建模等任务。近来，NLP领域诸多任务正由基于Transformer的模型攻克，这类深度模型在工业界广泛用于解决各类问题。受此启发，我们应用基于Transformer的模型学习电商场景下商品的上下文表示。本文提出一种新方法：在大型时尚电商平台用户生成会话数据集上预训练基于Transformer的模型，以获得潜在商品表示。预训练后，给定以文本句子形式给出的商品属性信息，即可获得商品的低维表示。我们主要预训练了Transformer模型的BERT、RoBERTa、ALBERT与XLNET变体，并针对下一商品推荐（NPR）与内容排序（CR）任务，对这些模型所得商品表示做定量分析。两任务均从时尚电商平台收集评测数据，观察到XLNET变体表现最优，NPR的MRR为0.5，CR的NDCG为0.634；XLNET在两下游任务上亦优于基于Word2Vec的非Transformer基线。据我们所知，这是首次利用含丰富属性信息的用户生成会话数据预训练Transformer模型以用于电商场景的新颖工作。这些模型可进一步微调以解决电商各类下游任务，从而免去从零训练模型之需。