ImputeFormer:由低秩性诱导的 Transformer 用于可泛化的时空数据填补
机器学习
2024-07-26 v3
摘要
缺失数据是科学与工程任务中普遍存在的问题,尤其在时空数据建模中。该问题吸引了大量研究致力于数据驱动的解决方案。现有的填补方法主要包括低秩模型与深度学习模型。前者假设通用的结构先验,但模型容量有限;后者具有显著的表达能力,但缺乏对底层时空结构的先验知识。结合两类范式的优势,我们展示了一种由低秩性诱导的 Transformer,以在强归纳偏置与高模型表达能力之间取得平衡。对时空数据内在结构的利用使我们的模型能够学习到平衡的信号-噪声表示,从而可泛化地应对多种填补问题。我们在交通流量、太阳能、智能电表和空气质量等多种异构数据集上展示了其在准确性、效率与多样性方面的优越性。令人期待的实验结果有力地表明,引入诸如低秩性等时间序列基本要素,可以显著促进可泛化模型的发展,以应对广泛的时空数据填补问题。
引用
@article{arxiv.2312.01728,
title = {ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation},
author = {Tong Nie and Guoyang Qin and Wei Ma and Yuewen Mei and Jian Sun},
journal= {arXiv preprint arXiv:2312.01728},
year = {2024}
}
备注
Accepted by KDD'24 (Research Track)