HT-Transformer：通过历史令牌累积前缀信息的事件序列分类
机器学习
2025-08-05 v1
摘要
深度学习在建模序列数据（包括事件序列、时间点过程和规则时间序列）方面取得了显著成功。最近，Transformer在这些任务中已很大程度上取代了循环网络。然而，在预测未来目标的分类任务中，Transformer的表现往往不如RNN。这一性能差距背后的原因在很大程度上仍未得到探索。在本文中，我们确定了Transformer的一个关键局限性：缺乏一个能够提供整个序列紧凑且有效表示的单一状态向量。此外，我们表明嵌入向量的对比预训练无法捕获局部上下文，而局部上下文对于准确预测至关重要。为了解决这些挑战，我们引入了历史令牌，这是一个新颖的概念，有助于在下一个令牌预测预训练期间累积历史信息。我们的方法显著改进了基于Transformer的模型，在金融、电子商务和医疗保健任务中取得了令人印象深刻的结果。代码已在GitHub上公开。
引用
@article{arxiv.2508.01474,
title = {HT-Transformer: Event Sequences Classification by Accumulating Prefix Information with History Tokens},
author = {Ivan Karpukhin and Andrey Savchenko},
journal= {arXiv preprint arXiv:2508.01474},
year = {2025}
}