用于快速端侧应用的低内存成对神经网络（PairNet）
机器学习
2020-02-12 v1 机器学习
摘要
传统人工神经网络（ANN）通常通过梯度下降算法（如反向传播算法）缓慢训练，因为 ANN 的大量超参数需要使用许多训练轮次进行精细调整。由于深度神经网络（如卷积神经网络）的大量超参数占用大量内存，内存低效的深度学习模型并不适合移动手机等各种设备上的实时物联网（IoT）应用。因此，有必要为实时端侧应用开发快速且内存高效的人工智能物联网（AIoT）系统。我们创建了一种新颖的宽而浅的 4 层 ANN，称为“成对神经网络”（“PairNet”），具有高速非梯度下降超参数优化。PairNet 仅用一个轮次即可快速训练，因为其超参数通过使用多元最小二乘拟合方法求解线性方程组一次性直接优化。此外，将 n 维输入空间划分为许多 n 维输入子空间，并在局部 n 维子空间中构建局部 PairNet。这种分而治之的方法可利用特定局部特征训练局部 PairNet 以提升模型性能。仿真结果表明，具有增量学习的三个 PairNet 具有更小的平均预测均方误差，并比传统 ANN 实现高得多的速度。一项重要的未来工作是开发更好更快的非梯度下降超参数优化算法，以在最优子空间上生成用于实时 AIoT 端侧应用的有效、快速且内存高效的具有增量学习的 PairNet。
引用
@article{arxiv.2002.04458,
title = {Pairwise Neural Networks (PairNets) with Low Memory for Fast On-Device Applications},
author = {Luna M. Zhang},
journal= {arXiv preprint arXiv:2002.04458},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2001.08886