PairNets：基于划分子空间的新颖快速浅层人工神经网络
机器学习
2020-01-27 v1 机器学习
摘要
传统上，人工神经网络（ANN）通过梯度下降算法（如反向传播算法）训练缓慢，因为 ANN 的大量超参数需要使用许多训练轮次进行精细调整。为了极大加速训练，我们创建了一种称为“成对神经网络”（“PairNet”）的新颖浅层 4 层 ANN，具有高速超参数优化。此外，每个输入的值被划分为多个区间，然后一个 n 维空间被划分为 M 个 n 维子空间。M 个局部 PairNet 构建于 M 个划分的局部 n 维子空间中。一个局部 PairNet 仅用一个轮次就训练得非常快，因为其超参数通过使用多元最小二乘拟合方法求解线性方程组被一次性直接优化。针对三个回归问题的仿真结果表明，与传统 ANN 相比，PairNet 在三种情况下实现了更高的速度和更低的平均测试均方误差（MSE），并在两种情况下具有更低的平均训练 MSE。一项重要的未来工作是开发基于智能方法和并行计算方法更好更快的优化算法，以优化划分的子空间和超参数，从而构建用于大数据挖掘和实时机器学习的快速有效 PairNet。
引用
@article{arxiv.2001.08886,
title = {PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned Subspaces},
author = {Luna M. Zhang},
journal= {arXiv preprint arXiv:2001.08886},
year = {2020}
}