实现局部化深度学习的神经网络构建

深度学习主题近来吸引了来自诸多学科机器学习使用者，包括：医学诊断与生物信息学、金融市场分析与在线广告、语音与手写识别、计算机视觉与自然语言处理、时间序列预测以及搜索引擎。然而，深度学习的理论发展仍处 infancy。本文目标是引入一种深度神经网络（亦称 deep-net）方法用于局部化流形学习，每一隐藏层赋予特定学习任务。为便于说明，我们仅聚焦具三个隐藏层的 deep-net：第一层用于降维，第二层用于偏差削减，第三层用于方差削减。还设计了反馈组件以剔除离群点。本文主要理论结果为：对正则性 $s$ 的回归函数，依样本点数目 $m$ 所得的逼近阶为 $\mathcal O\left(m^{-2s/(2s+d)}\right)$，其中（未知）流形维数 $d$ 取代了浅层网络采样（欧氏）空间维数 $D$。