用于训练推荐检索器的缓存增强批内重要性重采样

推荐检索器旨在当用户查询请求时从整个物品语料库中快速检索一小部分物品，其代表性双塔模型使用log softmax损失进行训练。为了在现代硬件上高效训练推荐检索器，批内采样（将小批量中的物品共享为负样本以估计softmax函数）已引起越来越多的关注。然而，现有基于批内采样的策略仅利用物品频率纠正批内物品的采样偏差，无法区分小批量内的用户查询，且仍带来来自softmax的显著偏差。在本文中，我们提出一种用于训练推荐检索器的缓存增强批内重要性重采样（XIR），它不仅为批内物品的用户查询提供不同的负样本，还自适应地实现对softmax分布更准确的估计。具体而言，XIR基于特定概率对给定小批量训练对进行物品重采样，其中采用包含更频繁采样物品的缓存来扩充候选物品集，以复用历史信息样本。XIR能够基于批内物品采样查询依赖的负样本，并捕获模型训练的动态变化，从而更好地逼近softmax并促进更好的收敛。最后，我们进行了实验以验证所提XIR相比竞争方法的优越性能。