面向长期时空预测的动态注意力保持
信息检索
2020-06-17 v1 机器学习
摘要
在城市级数据挖掘系统中，有效的长期预测需求日益增长。许多实际应用，如事故预防与资源预分配，需要较长的准备周期。然而，长期预测对误差高度敏感，这一挑战在预测具有复杂动态时空关联的城市级现象时尤为严峻。具体而言，由于有价值关联的数量有限，海量无关特征引入了触发预测误差增大的噪声。此外，在每一个时间步之后，误差可经由关联传播并抵达未来每一次预测中的时空位置，导致显著的误差传播。为解决这些问题，我们提出了一种动态切换注意力网络(Dynamic Switch-Attention Network, DSAN)，其带有一种新颖的多空间注意力(Multi-Space Attention, MSA)机制，显式度量输入与输出间的关联。为滤除无关噪声并缓解误差传播，DSAN 通过对含噪输入施加自注意力动态提取有价值信息，并借助切换注意力机制将各输出直接桥接至纯化后的输入。通过在两个时空预测任务上的大量实验，我们展示了 DSAN 在短期与长期预测中的优越优势。
引用
@article{arxiv.2006.08849,
title = {Preserving Dynamic Attention for Long-Term Spatial-Temporal Prediction},
author = {Haoxing Lin and Rufan Bai and Weijia Jia and Xinyu Yang and Yongjian You},
journal= {arXiv preprint arXiv:2006.08849},
year = {2020}
}
备注
11 pages, an ACM SIGKDD 2020 paper