用于神经事件序列预测的时间相关表示

现有的序列预测方法主要关注时间无关序列，其中事件之间的实际时间跨度是无关紧要的，事件之间的距离仅仅是它们在序列中顺序位置的差值。虽然这种时间无关的序列观点适用于自然语言等数据（例如处理句子中的单词），但对于许多在自然产生时于不等间隔时间点被观测和收集的真实世界事件（例如当一个人去杂货店或打电话时），它是不合适且低效的。事件之间的时间跨度可以携带关于人类行为序列依赖性的重要信息。在这项工作中，我们提出了一组在序列预测中使用时间的方法。由于诸如 RNN 之类的神经序列模型更适合处理类 token 输入，我们基于日常生活中时间如何被 token 化的直觉以及上下文嵌入化的先前工作，提出了两种时间相关事件表示方法。我们还引入了两种将下一事件持续时间作为正则化来训练序列预测模型的方法。我们基于循环神经网络讨论了这些方法。我们在五个类似于各种序列预测任务的数据集上评估了这些方法以及基线模型。实验表明，所提出的方法在一系列设置中比基线模型提供了准确率提升。