AdaptSSR：基于增强自适应自监督排序的用户模型预训练

用户建模旨在捕捉用户特征或兴趣，严重依赖特定任务标注数据并受数据稀疏问题困扰。近期若干研究通过在海量用户行为序列上以对比学习任务预训练用户模型来解决该问题。通常，这些方法假设经数据增强构造的同一行为序列的不同视图在语义上一致，即反映用户相似特征或兴趣，从而在特征空间中最大化其一致性。然而，由于用户兴趣多样且行为含大量噪声，现有增强方法易丢失用户某些特征或引入噪声行为。因此，强制用户模型直接最大化增强视图间相似度可能导致负迁移。为此，我们提出以新预训练任务替代对比学习任务：增强自适应自监督排序（AdaptSSR），其在预训练判别性用户模型的同时，缓解增强视图间语义一致性的要求。具体而言，我们采用多重成对排序损失，训练用户模型捕捉隐式增强视图、显式增强视图与其他用户视图间的相似度次序。我们进一步采用批内难负采样策略以促进模型训练。此外，考虑到数据增强对不同行为序列影响各异，我们设计增强自适应融合机制，基于估计的增强视图间相似度自动调整施加于各样本的相似度次序约束。在六个下游任务上的公开与工业数据集大量实验验证了 AdaptSSR 的有效性。