基于神经网络的时间序列数据缺失值改进插补方法:通过改造 DataWig 实现
机器学习
2023-08-21 v1
摘要
时间序列数据是在时间间隔上收集到的观测值。对时间序列数据的成功分析能够捕捉趋势、周期性和不规则性等模式,这些模式对于研究、商业和治理中的决策至关重要。然而,时间序列数据中的缺失值经常出现,并对成功分析造成障碍,因此需要用替代值填充,这一过程称为插补。尽管已尝试多种方法以实现时间序列数据的稳健插补,但即便最先进的方法仍面临诸多挑战,包括可扩展性有限、处理异构数据类型能力弱,以及因需要对数据缺失机制做强假设而导致灵活性差。此外,这些方法的插补精度仍有提升空间。在本研究中,我通过修改 DataWig 开发了 tsDataWig(时间序列 DataWig);DataWig 是一种基于神经网络的方法,具备处理大规模数据集和异构数据类型的能力,但原本设计用于非时间序列数据的插补。与原始 DataWig 不同,tsDataWig 可直接处理时间变量的值,并对复杂时间序列数据集中的缺失值进行插补。使用一个模拟数据集和三个不同的复杂真实世界时间序列数据集,我证明了 tsDataWig 优于原始 DataWig 以及当前最先进的时间序列数据插补方法,并且由于不需要对数据缺失机制做强假设,其具有广泛应用的潜力。本研究为在具有挑战性的时间序列数据集(通常包含数百万样本、高维变量和异构数据类型)中稳健插补缺失值提供了有价值的解决方案。
引用
@article{arxiv.2308.09635,
title = {Development of a Neural Network-based Method for Improved Imputation of Missing Values in Time Series Data by Repurposing DataWig},
author = {Daniel Zhang},
journal= {arXiv preprint arXiv:2308.09635},
year = {2023}
}
备注
16 pages, 3 figures, 2 tables