具有无界激活函数的神经网络是通用逼近器
神经与进化计算
2019-02-27 v2 机器学习
泛函分析
摘要
本文研究了具有无界激活函数（如修正线性单元(ReLU)，其为深度学习的新事实标准）的神经网络的逼近性质。ReLU网络可通过关于Lizorkin分布的脊波变换进行分析。通过利用傅里叶切片定理、Radon变换和Parseval关系给出三个重构公式，表明具有无界激活函数的神经网络仍满足通用逼近性质。作为一个附加结果，脊波变换或Radon域中的反投影滤波器，正是网络在反向传播后所学习到的内容。在构造性容许条件下，训练好的网络可仅通过离散化脊波变换获得，而无需反向传播。数值例子不仅支持了容许条件的一致性，还暗示某些不可容许情形会导致低通滤波。
引用
@article{arxiv.1505.03654,
title = {Neural Network with Unbounded Activation Functions is Universal Approximator},
author = {Sho Sonoda and Noboru Murata},
journal= {arXiv preprint arXiv:1505.03654},
year = {2019}
}
备注
under review; first revised version