基于深度不确定性的检索索引构建与推荐系统中的探索

在推荐系统中，最终结果的相关性和新颖度通过匹配->排序->策略等级联系统进行选择。匹配模型作为管道的起点，决定了后续阶段的上限。平衡匹配结果的相关性和新颖度是推荐系统设计和优化中的关键步骤，对提高推荐质量贡献巨大。然而，典型的匹配算法尚未能同时完美地解决相关性和新颖度问题。一个主要原因是，深度匹配算法在估计长尾物品（例如由于训练样本不足）时表现出显著的不确定性。这种不确定性不仅影响模型的训练，也影响了这些模型在索引构建和光束搜索检索过程中的置信度。本文提出了 UICR（基于不确定性的索引构建与检索）算法，引入了匹配阶段的不确定性建模概念，实现了模型不确定性和索引不确定性的多任务建模。最终的匹配结果通过结合模型推断的相关性得分和不确定性得分获得。实验结果表明，UICR 在不牺牲相关性的前提下提高了新颖度，适用于真实世界的工业生产环境和多个开源数据集。值得注意的是，Shopee 显示广告的在线 A/B 测试结果证明了所提出算法的有效性。