多维时间序列的缺失值插补
机器学习
2023-06-22 v3 人工智能
摘要
我们提出 DeepMVI,一种用于多维时间序列数据集中缺失值插补的深度学习方法。缺失值在从异构源长期聚合数据的决策支持平台中十分常见,可靠的数据分析需要谨慎处理缺失数据。一种策略是插补缺失值,现有多种多样的算法,涵盖简单插值、如 SVD 的矩阵分解方法、如卡尔曼滤波的统计模型,以及近期的深度学习方法。我们表明,在聚合分析上这些方法的性能往往劣于直接排除缺失数据。DeepMVI 使用神经网络结合时间序列上的细粒度与粗粒度模式,以及跨类别维度相关序列的趋势。在尝试现成神经架构失败后,我们设计了自己的网络,包含带有新颖卷积窗口特征的时序 transformer(temporal transformer)以及带学习嵌入的核回归。参数及其训练经过精心设计,以泛化到不同的缺失块位置和数据特征。在九个真实数据集、四种不同缺失场景下,对比七种现有方法的实验表明,DeepMVI 明显更准确,在超过一半的案例中相比最佳现有方法将误差降低逾 。尽管比简单的矩阵分解方法慢,我们通过表明 DeepMVI 是唯一能提供比丢弃缺失值更准确整体分析的选项,来佐证增加的时间开销是合理的。
引用
@article{arxiv.2103.01600,
title = {Missing Value Imputation on Multidimensional Time Series},
author = {Parikshit Bansal and Prathamesh Deshpande and Sunita Sarawagi},
journal= {arXiv preprint arXiv:2103.01600},
year = {2023}
}
备注
Accepted to VLDB 2021