用于时间序列分类的掩码建模中的内容感知平衡频谱编码
机器学习
2024-12-19 v1
摘要
由于在全局依赖性方面的优越能力，Transformer 及其变体已成为面向时间序列分类任务的掩码时间序列建模（MTM）的首选。在本文中，我们通过实验分析发现，现有的基于 Transformer 的 MTM 方法在处理时间序列数据时遇到两个尚未充分探索的问题：（1）它们通过执行长依赖集成平均来编码特征，随着网络层数加深，这容易导致秩坍缩和特征同质化；（2）它们在拟合时间序列中包含的不同频率分量时表现出不同的优先级，不可避免地导致编码特征的频谱能量不平衡。为了解决这些问题，我们提出了一种辅助的内容感知平衡解码器（CBD），以在掩码建模方案内优化频谱空间中的编码质量。具体而言，CBD 迭代一系列基础块，得益于两个定制的单元，每个块能够基于时间序列的局部内容变化调整交互模式，并学习重新校准不同频率分量间的能量分布，从而逐步细化掩码表示。此外，设计了一种双约束损失函数来增强原始解码器与我们的 CBD 之间的相互优化。在十个时间序列分类数据集上的大量实验结果表明，我们的方法几乎超越了一大批基线方法。同时，展示了一系列解释性结果，以充分阐明我们方法的行为机制。
引用
@article{arxiv.2412.13232,
title = {Content-aware Balanced Spectrum Encoding in Masked Modeling for Time Series Classification},
author = {Yudong Han and Haocong Wang and Yupeng Hu and Yongshun Gong and Xuemeng Song and Weili Guan},
journal= {arXiv preprint arXiv:2412.13232},
year = {2024}
}
备注
13 pages, Accepted by AAAI 25