VarDrop：通过减少周期时间序列预测中的冗余变量来提升训练效率

变量化词嵌入（variate tokenization）通过独立嵌入每个变量作为独立标记，已在多变量时间序列预测中取得显著的改进。然而，采用变量标记进行自注意力机制，计算复杂度随变量数量呈二次增长，从而限制了大规模应用中的训练效率。为解决此问题，我们提出了 VarDrop—a 一种简单且高效的策略，通过在训练期间省去冗余的变量标记来减少标记用量。VarDrop 在给定批次中自适应地排除冗余标记，从而在保持关键信息的同时，减少了用于点积注意力的标记数量。具体而言，我们引入 k-支配频率哈希（k-dominant frequency hashing, k-DFH），利用频率域中排名靠前的支配频率作为哈希值，高效地对 exhibiting 类似周期行为的变量标记进行分组。随后，通过分层抽样仅从每组中抽样代表性标记。通过对这些选定标记执行稀疏注意力，显著减轻了缩放点积注意力的计算成本。在公开基准数据集上的实验表明，VarDrop 在现有高效基线方法上表现优异。