事件序列的连续时间卷积模型
机器学习
2024-09-05 v2
摘要
事件序列常出现于数据挖掘中。对这类序列建模面临两大挑战：方法论与计算。在方法论上，事件序列是非均匀且稀疏的，使得传统模型不适用。在计算上，海量数据以及每个序列的显著长度要求复杂且高效的模型。现有方案，如循环与 transformer 神经网络，依赖于在每个时刻定义的参数化强度函数。这些函数要么表示复杂事件序列的能力有限，要么明显低效。我们提出 COTIC，一种基于高效卷积神经网络的方法，旨在处理事件随时间非均匀发生的情况。本文引入连续卷积层，使模型能以极小的计算代价捕捉复杂依赖关系，包括例如自激效应。COTIC 在预测下一事件时间与类型上优于现有模型，取得平均排名 1.5，而最接近的竞争者为 3.714。此外，COTIC 生成有效嵌入的能力展示了其在多种下游任务中的潜力。我们的代码已开源，参见：https://github.com/VladislavZh/COTIC。
引用
@article{arxiv.2302.06247,
title = {Continuous-time convolutions model of event sequences},
author = {Vladislav Zhuzhel and Vsevolod Grabar and Galina Boeva and Artem Zabolotnyi and Alexander Stepikin and Vladimir Zholobov and Maria Ivanova and Mikhail Orlov and Ivan Kireev and Evgeny Burnaev and Rodrigo Rivera-Castro and Alexey Zaytsev},
journal= {arXiv preprint arXiv:2302.06247},
year = {2024}
}
备注
29 pages, 4 figures