揭开深度学习在预测性时空分析中的神秘面纱：一个信息论框架
机器学习
2020-09-18 v2 机器学习
摘要
深度学习在过去几年取得了令人难以置信的成功，尤其是在各种具有挑战性的预测性时空分析(PSTA)任务中，如疾病预测、气候预报和交通预测，其中数据间存在内在依赖关系并通常表现为多时空尺度。然而，给定特定 PSTA 任务和相应数据集，如何恰当确定深度学习模型的期望配置、从理论上分析模型的学习行为并定量刻画模型的学习能力仍是一个谜。为揭开深度学习用于 PSTA 的威力，本文提供一个用于深度学习模型设计和信息论分析的综合框架。首先，我们开发并展示了一个新颖的交互式与集成式连接的深度循环神经网络(IDRNN)模型。IDRNN 由三个模块组成：集成异构源数据的输入模块；在不同尺度捕获信息并允许层间交互流动信息的隐藏模块；以及对来自各隐藏层信息的集成效应建模以生成输出预测的输出模块。其次，为从理论上证明所设计模型能学习 PSTA 任务中的多尺度时空依赖，我们提供信息论分析以检验所提模型基于信息的学习容量(i-CAP)。第三，为验证 IDRNN 模型并确认其 i-CAP，我们系统性地开展了一系列涉及合成数据集与真实世界 PSTA 任务的实验。实验结果表明 IDRNN 模型优于经典及最先进模型，并能捕获有意义的多尺度时空依赖。
引用
@article{arxiv.2009.06304,
title = {Demystifying Deep Learning in Predictive Spatio-Temporal Analytics: An Information-Theoretic Framework},
author = {Qi Tan and Yang Liu and Jiming Liu},
journal= {arXiv preprint arXiv:2009.06304},
year = {2020}
}
备注
35 pages, 8 figures