PinnerFormer：Pinterest 中用于用户表示的序列建模

近年来，序列模型在支撑个性化推荐系统方面变得越来越流行。这些方法传统上将用户在网站上的行为建模为序列，以预测用户的下一个动作。尽管理论上简单，这些模型在部署到生产环境中相当具有挑战性，通常要求流式基础设施来反映最新用户活动，并可能管理用于编码用户隐状态的可变数据。在此我们介绍 PinnerFormer，一种经训练可利用用户近期行为的序列模型来预测用户未来长期参与度的用户表示。与先前方法不同，我们通过我们新的稠密全动作损失将建模适配到批处理基础设施，建模长期未来动作而非下一动作预测。我们表明，通过这样做，我们显著缩小了每天生成一次的批处理用户嵌入与用户采取动作时生成的实时用户嵌入之间的差距。我们通过广泛的离线实验和消融实验描述我们的设计决策，并在 A/B 实验中验证我们方法的有效性，显示相较于我们之前的用户表示，PinnerFormer 在 Pinterest 的用户留存和参与度上均有实质性提升。PinnerFormer 自 2021 年秋季起已部署于生产环境。