基于 Perceiver 的 CDF 建模用于时间序列预测

Transformer 在预测时间序列数据方面已展现出显著成效。然而，它们对自注意力机制的广泛依赖需要大量计算资源，从而限制了其在多样任务中的实际适用性，尤其在多模态问题中。在这项工作中，我们提出了一种称为 perceiver-CDF 的新架构，用于建模时间序列数据的累积分布函数（CDF）。我们的方法将 perceiver 架构与为多模态时间序列预测定制的基于 copula 的注意力机制相结合。通过利用 perceiver，我们的模型将高维和多模态数据高效转换为紧凑的潜在空间，从而显著降低计算需求。随后，我们实现基于 copula 的注意力机制来构建缺失数据的联合分布以进行预测。进一步，我们提出输出方差测试机制，以有效缓解预测过程中的误差传播。为提升效率并降低复杂度，我们为局部注意力机制引入了中点推理。这使得模型能够高效捕捉邻近插补样本内的依赖关系，而无需考虑所有先前的样本。在单模态和多模态基准上的实验一致显示出比最先进方法提升 20%，同时使用的计算资源不到一半。