具有时间依赖观测的深度神经网络理论分析
机器学习
2022-10-24 v1 机器学习
摘要
深度神经网络是对具有非线性模式的时间观测进行建模的有力工具。尽管神经网络在此类场景中广泛使用，但深度神经网络的大部分理论发展基于独立观测的假设，针对时间依赖观测的理论结果十分匮乏。为弥补这一差距，我们研究了深度神经网络在建模非线性时间序列数据时的理论性质。具体而言，在混合型假设下，建立了具有 ReLU 激活函数的（稀疏）前馈神经网络的预测误差非渐近界。这些假设较为温和，涵盖了包括自回归模型在内的广泛时间序列模型。与独立观测相比，所建立的收敛速率具有额外的对数因子，以补偿数据点间依赖性带来的额外复杂度。理论结果通过各种数值模拟设置以及对一个宏观经济数据集的应用得到支持。
引用
@article{arxiv.2210.11530,
title = {Theoretical analysis of deep neural networks for temporally dependent observations},
author = {Mingliang Ma and Abolfazl Safikhani},
journal= {arXiv preprint arXiv:2210.11530},
year = {2022}
}
备注
23 pages, 18 pages, accepted for publication in Neural Information Processing Systems