深度 RNN 通用性质的极小宽度

Chang hoon Song; Geonho Hwang; Jun ho Lee; Myungjoo Kang

深度 RNN 通用性质的极小宽度

机器学习 2023-03-30 v2 机器学习

作者: Chang hoon Song , Geonho Hwang , Jun ho Lee , Myungjoo Kang

摘要

循环神经网络（RNN）是一种广泛用于处理序列数据的深度学习网络。模仿动力系统，无限宽 RNN 可在紧致域上逼近任意开动力系统。一般而言，宽度有界的深度网络在实践中比宽网络更有效；然而，针对深度窄结构的通用逼近定理尚待广泛研究。本研究中，我们证明深度窄 RNN 的通用性，并表明通用性最小宽度的上界可独立于数据长度。具体而言，我们证明具有 ReLU 激活的深度 RNN 可分别以宽度 $d_x+d_y+2$ 和 $\max\{d_x+1,d_y\}$ 逼近任意连续函数或 $L^p$ 函数，其中目标函数将 $\mathbb{R}^{d_x}$ 中的有限向量序列映射到 $\mathbb{R}^{d_y}$ 中的有限向量序列。我们还计算了若激活函数为 $\tanh$ 或更多时所必需的附加宽度。此外，我们证明了其他循环网络（如双向 RNN）的通用性。通过桥接多层感知机与 RNN，我们的理论与证明技术可作为进一步研究深度 RNN 的初步步骤。

关键词

循环神经网络通用逼近最小宽度 ReLU 激活双向 RNN 深度窄网络

引用

@article{arxiv.2211.13866,
  title  = {Minimal Width for Universal Property of Deep RNN},
  author = {Chang hoon Song and Geonho Hwang and Jun ho Lee and Myungjoo Kang},
  journal= {arXiv preprint arXiv:2211.13866},
  year   = {2023}
}

深度 RNN 通用性质的极小宽度

摘要

关键词

引用

相关论文