通过对偶上升缓解隐因子发散以实现低延迟事件预测模型

现实世界的内容推荐市场表现出某些行为，并受到在常见静态离线数据集中并不总是显而易见的限制约束。广告市场中一个常见的例子是广告的快速更替：每天都有大量新广告引入，旧广告消失。另一个例子是广告不连续性，即由于各种原因（例如预算耗尽、广告主暂停、系统标记等），现有广告可能在不可忽略的时间段内从市场中显现并消失。这些行为有时会导致模型的损失曲面在短期内剧烈变化。为应对这些行为，新鲜模型极为重要；而为实现这一点（以及出于其他若干原因），常采用对过去事件的小块数据进行的增量训练。这些行为及算法优化偶尔会导致模型参数不受控地增大，或发生发散。本文提出了一种系统性方法，通过对模型的隐向量施加精心选定的一组约束来防止模型参数发散。随后，我们受原始-对偶优化算法启发，设计了一种满足这些约束的方法，该方法既与增量模型训练良好契合，又无需对底层模型训练算法作任何重大修改。我们在 OFFSET（一种驱动雅虎原生广告的协同过滤算法，而雅虎原生广告是 VZM 最大且增长最快的业务之一，年化运行收入达数亿美元）上分析、展示并验证了我们的方法。最后，我们开展了一项在线实验，结果表明发散实例数量大幅减少，用户体验与收入均显著提升。