用于训练双塔推荐模型的跨批次负采样
信息检索
2021-10-29 v1
摘要
双塔架构已被广泛应用于学习物品与用户表示，这对大规模推荐系统十分重要。许多双塔模型使用各类批内负采样策略进行训练，此类策略的效果本质上依赖于小批量的大小。然而，以较大批量训练双塔模型效率低下，因为它需要大量内存来存储物品与用户内容，并消耗大量时间进行特征编码。有趣的是，我们发现神经编码器在训练过程预热后对相同输入能输出相对稳定的特征。基于上述事实，我们提出一种简单而有效的采样策略，称为跨批次负采样（CBNS），其利用近期小批量中已编码的物品嵌入来提升模型训练。理论分析与经验评估均证明了 CBNS 的有效性与高效性。
引用
@article{arxiv.2110.15154,
title = {Cross-Batch Negative Sampling for Training Two-Tower Recommenders},
author = {Jinpeng Wang and Jieming Zhu and Xiuqiang He},
journal= {arXiv preprint arXiv:2110.15154},
year = {2021}
}
备注
Paper accepted in SIGIR'2021