由散射变换及其神经激活推广所引出的中心与非中心极限定理
机器学习
2020-11-24 v1 机器学习
概率论
摘要
受分析复杂且非平稳时间序列的驱动，我们研究了一种包含广泛神经激活函数的散射变换（ST）的推广，称为神经激活散射变换（NAST）。总体而言，NAST 是一种由一系列“神经处理单元”构成的变换，每个单元对来自前一层的输入应用高通滤波，再与一非线性函数复合作为输出传给下一神经元。此处，非线性函数刻画神经元如何被输入信号激发。除展示非扩张性、水平平移不变性以及对局部形变的不敏感性等性质外，我们还探讨了具有不同依赖与（非）平稳结构的高斯过程的二阶 NAST 的统计性质，及其与所选高通滤波器和激活函数的相互作用，并给出了中心极限定理（CLT）与非中心极限定理结果。文中还提供了数值模拟。这些结果解释了 NAST 如何处理复杂且非平稳的时间序列，并为非原假设下基于 NAST 的统计推断铺平了道路。
引用
@article{arxiv.2011.10801,
title = {Central and Non-central Limit Theorems arising from the Scattering Transform and its Neural Activation Generalization},
author = {Gi-Ren Liu and Yuan-Chung Sheu and Hau-Tieng Wu},
journal= {arXiv preprint arXiv:2011.10801},
year = {2020}
}