MLEM：将生成式与对比式学习作为事件序列的不同模态

本研究探讨了自监督学习技术在事件序列中的应用。事件序列是银行、电子商务和医疗保健等各种应用中的一种关键模态。然而，关于事件序列自监督学习的研究有限，且来自图像、文本和语音等其他领域的方法可能不易迁移。为了确定最合适的方法，我们对先前确定的性能最佳的方法进行了详细的比较分析。我们发现对比方法和生成方法均不占绝对优势。我们的评估包括对事件序列进行分类、预测下一个事件以及评估嵌入质量。这些结果进一步突显了结合这两种方法的潜在益处。鉴于该领域缺乏对混合模型的研究，我们最初改编了来自另一领域的基线模型。然而，在观察到其性能不佳后，我们开发了一种名为多模态学习事件模型的新方法。MLEM 将对比学习和生成式建模视为不同但互补的模态，并对齐它们的嵌入。我们的研究结果表明，使用 MLEM 将对比和生成方法结合到一个流程中，在多个指标上均取得了卓越的性能。