通过 token 合并实现 Transformer 和状态空间模型的高效时间序列处理

尽管近期在亚二次注意力机制或状态空间模型方面取得了进展，但处理长标记序列仍 imposes 显著的计算要求。token 合并已成为计算机视觉架构提高计算效率的解决方案之一。本文首次针对时间序列分析中的 transformer 和状态空间模型进行 token 合并的调查。我们进一步引入了 local merging，即一种特定于领域的 token 合并算法， selectively 组合位于局部邻域内的 token，实现两个主要收益：a) local merging 可根据邻域大小调整计算复杂度，从二次线性，以有效扩展到长序列；b) local merging 是首个实现 causal merging 的方案，使 token 合并在 transformer 解码器中成为可能。进一步，我们识别了输入数据中可靠预测 local merging 潜在收益的谱特性，而无需在下游任务中进行评估。我们的全面经验评估表明，local merging 在保持准确性的同时显著提高了效率，在最近提出的 Chronos 基础模型上实现了最高可达 5400% 的加速。