用于异构时间序列填补的不确定性感知深度注意力循环神经网络
机器学习
2024-01-05 v1 人工智能
摘要
缺失在多变量时间序列中无处不在，对可靠的下游分析构成了障碍。尽管循环网络填补达到了 SOTA，但现有模型无法扩展到能够潜在缓解复杂数据中问题的深度架构。此外，填补带有对真实值产生有偏估计的风险。然而，对填补值的置信度始终未被测量，或仅从事后通过模型输出计算。我们提出了深度注意力循环填补（DEep Attention Recurrent Imputation, DEARI），在异构多变量时间序列中联合估计缺失值及其相关的不确定性。通过联合表示特征相关性和时间动态，我们采用自注意力机制以及有效的残差组件，以实现具有良好填补性能和稳定收敛的深度循环神经网络。我们还利用自监督度量学习，通过优化样本相似性来提升性能。最后，我们通过一种新颖的贝叶斯边缘化策略将 DEARI 转化为贝叶斯神经网络，以生成随机 DEARI，其表现优于其确定性等价物。实验表明，在使用空气质量控制、医疗保健和交通等真实世界数据集的多种填补任务中，DEARI 超越了 SOTA。
引用
@article{arxiv.2401.02258,
title = {Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation},
author = {Linglong Qian and Zina Ibrahim and Richard Dobson},
journal= {arXiv preprint arXiv:2401.02258},
year = {2024}
}