具有信号镜像神经元的分桶 PCA 神经网络
机器学习
2021-08-03 v1 人工智能
最优化与控制
机器学习
摘要
为对深度神经网络（DNN）在监督分类问题上进行基准测试，本文发展了带变换的分桶 PCA 神经网络（PCA-NN）。大多数经典 PCA 模型将 PCA 应用于整个训练数据集以建立约简表示，然后采用高阶多项式分类器等非网络工具。相反，分桶 PCA-NN 将 PCA 应用于在两个连续阶段中构建的各个桶，并保留神经网络的真实架构。这有助于与 DNN 进行公平的同类比较，尤其揭示许多令人印象深刻的 DNN 所达到的精度大部分可能由分桶 PCA-NN 解释（例如，以 MNIST 数据集为例，98% 中的 96%）。与大多数 DNN 相比，分桶 PCA-NN 的三个构建模块在概念上更易理解——PCA、变换以及用于纠错的分桶。此外，不同于在 DNN 中普遍观察到的某种准随机神经元，PCA 神经元类似或镜像输入信号，因此更直接可解读。
引用
@article{arxiv.2108.00605,
title = {Bucketed PCA Neural Networks with Neurons Mirroring Signals},
author = {Jackie Shen},
journal= {arXiv preprint arXiv:2108.00605},
year = {2021}
}