SAITS：基于自注意力的时序插补方法
机器学习
2023-07-06 v5
摘要
时间序列中的缺失数据是一个普遍存在的问题，给深入分析造成障碍。一种流行的解决方案是插补，其根本挑战在于确定应填入什么值。本文提出 SAITS，一种基于自注意力机制用于多变量时间序列缺失值插补的新方法。通过联合优化方法训练，SAITS 从两个对角掩码自注意力（DMSA）块的加权组合中学习缺失值。DMSA 显式捕获时间步之间的时间依赖性与特征相关性，从而提高了插补精度与训练速度。同时，加权组合设计使 SAITS 能根据注意力图和缺失信息动态地为来自两个 DMSA 块的学习表示分配权重。大量实验在定量与定性上表明，SAITS 在时间序列插补任务上高效优于最先进（state-of-the-art）方法，并揭示了 SAITS 提升真实世界不完整时间序列数据上模式识别模型学习性能的潜力。代码已在 GitHub 开源：https://github.com/WenjieDu/SAITS。
引用
@article{arxiv.2202.08516,
title = {SAITS: Self-Attention-based Imputation for Time Series},
author = {Wenjie Du and David Cote and Yan Liu},
journal= {arXiv preprint arXiv:2202.08516},
year = {2023}
}
备注
This paper has been published in the journal Expert Systems with Applications. The DOI link is https://doi.org/10.1016/j.eswa.2023.119619/