ListBERT：用列表式BERT对电商产品进行学习排序
信息检索
2022-07-01 v1
摘要
高效搜索是拥有海量产品的电商平台的关键组成部分。每天数百万用户搜索符合其需求的产品。因此，将相关产品展示在前列将提升用户体验。本工作中，我们提出一种将基于transformer的模型与多种列表式损失函数融合以对给定用户查询的电商产品排序的新方法。我们在时尚电商语料上预训练RoBERTa模型，并使用不同列表式损失函数微调。实验表明，采用基于NDCG的代理损失函数（approxNDCG）微调的RoBERTa模型相比ListNET和ListMLE等其他流行列表式损失函数取得13.9%的NDCG提升。基于approxNDCG的RoBERTa模型相比基于成对RankNet的RoBERTa模型也取得20.6%的NDCG提升。我们将这种以端到端方式用列表式代理损失函数直接优化RoBERTa模型的方法称为ListBERT。由于实时搜索场景对低延迟有要求，我们展示了如何利用知识蒸馏技术学习一个以表示为重点的学生模型，从而易于部署并将排序延迟降低约10倍。
引用
@article{arxiv.2206.15198,
title = {ListBERT: Learning to Rank E-commerce products with Listwise BERT},
author = {Lakshya Kumar and Sagnik Sarkar},
journal= {arXiv preprint arXiv:2206.15198},
year = {2022}
}
备注
5 Pages, 1 Figure, accepted in SigirEcom'22, Madrid, Spain