面向深度会话数据理解的对比预训练

会话数据已被广泛用于理解电子商务中的用户行为。研究人员正试图利用会话数据完成不同的任务，如购买意图预测、剩余长度预测、推荐等，因为它提供了关于用户动态兴趣的上下文线索。然而，在线购物会话数据本质上是半结构化和复杂的，包含关于产品的非结构化文本数据、搜索查询和结构化的用户行为序列。大多数现有工作侧重于利用粗粒度的项目序列来完成特定任务，而很大程度上忽略了来自文本和用户行为细节的细粒度信息。在这项工作中，我们通过仔细审视用户会话中丰富信息中的各种线索，深入研究深度会话数据理解。具体来说，我们提出在包含丰富细节（如产品标题、属性和各种用户行为）的大规模会话数据上预训练一个通用用户行为模型（UBM）。引入了一个两阶段预训练方案，以鼓励模型通过对比学习目标从各种增强中自我学习，这些增强跨越会话数据的不同粒度级别。然后，训练良好的会话理解模型可以轻松微调以用于各种下游任务。大量实验表明，UBM更好地捕获了复杂的项目内语义关系、项目间连接和交互间依赖关系，从而在多个下游任务上相比基线取得了较大的性能提升。并且在数据稀疏时也表现出强大的鲁棒性。