真实世界大规模推荐系统的可复现性与平滑激活函数

真实世界推荐系统影响着不断增长的诸多领域。随着深度网络——如今驱动此类系统——的引入，推荐与用户兴趣和任务更加相关。然而，即便由同一系统针对同一用户、推荐序列、请求或查询生成，它们也可能并非总是可复现的。该问题在学术文献中几乎未受关注，但事实上在真实生产系统中非常现实且关键。我们考量预测决定此类推荐的真实大规模深度模型的可复现性。我们证明，深度模型中使用的著名修正线性单元（ReLU）激活可能是不可复现性的主要贡献因素。我们提出使用平滑激活函数以改善推荐可复现性。我们描述了一类新颖的平滑激活函数：平滑 ReLU（SmeLU），其设计以数学简洁性改善可复现性，并可能以更低的实现成本达成。SmeLU 是更广泛平滑激活函数族的一员。虽然真实系统中其他改善可复现性的技术通常伴随精度代价，但平滑激活函数不仅改善可复现性，甚至能带来精度提升。我们报告了真实系统中的指标，其中我们得以将 SmeLU 投入生产，取得显著可复现性增益和更优的精度-可复现性权衡。这些包括点击率（CTR）预测系统、内容推荐系统和应用推荐系统。