多变量点过程的自监督对比预训练
机器学习
2024-02-05 v1
摘要
自监督是日益流行的基础模型套件（包括 BERT 和 GPT-3 等大型语言模型）中表示学习的标志之一，但据我们所知，尚未在多变量事件流的背景下进行探索。我们引入了一种利用 Transformer 编码器进行多变量点过程自监督学习的新范式。具体而言，我们为编码器设计了一种新颖的预训练策略，不仅掩蔽随机事件时刻，还插入随机采样的“空”时刻（即未发生事件的时刻）；这与 BERT 中典型的离散时间前置任务（如词掩蔽）不同，但扩展了掩蔽的有效性以更好地捕捉连续时间动态。为了改进下游任务，我们引入了一个对比模块，用于比较真实事件与模拟的空实例。预训练模型随后可在可能小得多的事件数据集上进行微调，这在概念上类似于流行预训练语言模型的典型迁移。我们在下一事件预测任务上展示了所提范式的有效性，使用了合成数据集和 3 个真实应用，观察到相较于最先进模型，相对性能提升高达 20%。
引用
@article{arxiv.2402.00987,
title = {Self-Supervised Contrastive Pre-Training for Multivariate Point Processes},
author = {Xiao Shou and Dharmashankar Subramanian and Debarun Bhattacharjya and Tian Gao and Kristin P. Bennet},
journal= {arXiv preprint arXiv:2402.00987},
year = {2024}
}