基于行为日志的通用用户建模：Snapchat 案例研究

基于用户行为日志学习通用用户表示是一种日益流行的用户建模方法。它受益于易于获取、保护隐私且富有表现力的数据，并且不需要针对不同的下游任务对上游用户模型进行大量重新调参。尽管该方法在搜索引擎和电子商务应用中展现出前景，但其对现代数字通信基石的即时通讯平台的适用性在很大程度上仍属未知。我们以 Snapchat 数据作为案例研究来探索这一研究空白。具体而言，我们实现了一个基于 Transformer 的用户模型并采用定制的训练目标，结果表明该模型能在广泛的评估任务中产生高质量的用户表示，其中我们引入了三个新的下游任务，涉及用户研究中的核心主题：用户安全、参与度和流失。我们还通过应用一种新颖的位置编码方法，解决了推理时对长序列进行高效外推的挑战。