面向不完整多模态时间序列的深度马尔可夫模型因子化推断
机器学习
2019-11-25 v3 人工智能
神经与进化计算
机器学习
摘要
将深度学习与潜状态空间模型相结合，有潜力产生强大 yet 易处理且可解释的时间模型。遗憾的是，当前模型未设计用于处理缺失数据和多种数据模态，而这两者在实际数据中都很普遍。在本工作中，我们为多模态深度马尔可夫模型（MDMMs）引入一种因子化推断方法，使我们能在存在缺失数据的情况下进行滤波与平滑，同时进行不确定性感知的多模态融合。我们通过为非线性状态空间模型分解后验 p(z|x) 导出该方法，并开发了一种用于推断的变分后向-前向算法。由于我们的方法处理时间和模态上的不完整性，它能够进行插值、外推、条件生成、标签预测以及多模态时间序列的弱监督学习。我们在合成和真实世界多模态数据上以高水平数据删除展示了这些能力。即使缺失数据超过 50%，我们的方法仍表现良好，并优于现有的潜时间序列推断深度方法。
引用
@article{arxiv.1905.13570,
title = {Factorized Inference in Deep Markov Models for Incomplete Multimodal Time Series},
author = {Tan Zhi-Xuan and Harold Soh and Desmond C. Ong},
journal= {arXiv preprint arXiv:1905.13570},
year = {2019}
}
备注
8 pages, 4 figures, accepted to AAAI 2020, code available at: https://github.com/ztangent/multimodal-dmm