SEMINAR: 基于搜索增强的多模态兴趣网络与近似检索用于终身顺序推荐

用户行为建模是现代推荐系统中的关键问题。大量研究聚焦于建模用户的终身序列，这些序列可以非常长，甚至超过数千件物品。这些模型会使用目标物品从历史序列中搜索最相关的物品。然而，由于ID嵌入学习不足的问题，在点击通过率（CTR）预测或个性化搜索排序（PSR）中训练终身序列极其困难，尤其是当终身序列特征中的ID在训练数据集的样本中不存在时。此外，现有的目标注意力机制难以充分学习序列中物品的多模态表示。用户交互物品的多模态嵌入（文本、图像和属性）的分布未得到正确对齐，且在不同模态之间存在分布差异。我们还观察到，用户的搜索查询序列和物品浏览序列可以完整描绘用户意图，并且能够相互补充。为此，我们提出了统一的终身多模态序列模型，称为SEMINAR-Search Enhanced Multi-Modal Interest Network and Approximate Retrieval。具体而言，一个名为Pretraining Search Unit（PSU）的网络以预训练-微调方式学习多模态查询-物品对的终身序列，目标包括多模态对齐、下一个查询-物品对预测、查询-物品相关性预测等。预训练后，下游模型将恢复预训练的嵌入作为初始化并微调该网络。为加速多模态嵌入的在线检索速度，我们提出了一种基于多模态码本的产品量化策略来近似计算精确注意力。