面向时间序列Transformer的熵引导动态分块分割
计算机视觉与模式识别
2026-01-30 v2 人工智能
机器学习
摘要
基于分块的Transformer已成为时间序列建模中高效且改进的长程建模架构。然而，现有方法依赖于时间无关的分块构建，其中任意的起始位置和固定长度会通过分割自然过渡来破坏时间连贯性。这种朴素的分割常常会破坏短期依赖关系并削弱表征学习。我们提出了一种新颖的熵引导动态分块编码器（EntroPE），作为一个时间感知框架，它通过条件熵动态检测过渡点并动态放置分块边界。这保留了时间结构，同时保留了分块的计算优势。EntroPE由两个关键模块组成，即一个基于熵的动态分块器（EDP），它应用信息论准则来定位自然的时间偏移并确定分块边界；以及一个自适应分块编码器（APE），它采用池化和交叉注意力来捕获块内依赖关系并产生固定大小的潜在表征。在长期预测、分类和异常检测上的大量实验表明，所提出的方法提高了准确性和效率，确立了熵引导的动态分块作为时间序列建模的一个有前景的新范式。代码可在 https://github.com/Sachithx/EntroPE 获取。
引用
@article{arxiv.2509.26157,
title = {Entropy Guided Dynamic Patch Segmentation for Time Series Transformers},
author = {Sachith Abeywickrama and Emadeldeen Eldele and Min Wu and Xiaoli Li and Chau Yuen},
journal= {arXiv preprint arXiv:2509.26157},
year = {2026}
}
备注
Preprint. Under Review