以性能驱动BP与改进PSO学习的浅层神经网络的可学习性与鲁棒性及其边缘决策应用
神经与进化计算
2021-05-10 v1 机器学习
性能
摘要
在许多情况下，计算资源有限且无GPU加持，尤其在物联网使能系统的边缘设备中。在边缘设备中实现复杂AI模型可能并不容易。万能逼近定理指出，浅层神经网络（shallow neural network, SNN）可表示任意非线性函数。然而，要多宽的SNN才足以解决边缘设备中的非线性决策问题？本文关注由贪婪紧力启发式算法（性能驱动BP）与松弛力元启发式算法（一种改进PSO）获得的SNN的可学习性与鲁棒性。两组实验检验了由KPI-PDBP与KPI-VPSO学习/优化的带Sigmoid激活的SNN的可学习性与鲁棒性，其中KPI（关键性能指标：误差（ERR）、准确率（ACC）与分数）为目标，驱动搜索过程。采用增量方法考察隐藏神经元数量对由KPI-PDBP与KPI-VPSO学习/优化的SNN性能的影响。从工程角度看，所有传感器对特定任务均有充分依据，故所有传感器读数与目标应强相关。因此，SNN的结构应取决于问题空间的维度。实验结果表明：隐藏神经元数量达到问题空间维度数即足够；就训练数据集上的性能与学习时间而言，KPI-PDBP生成的SNN的可学习性优于KPI-VPSO优化的SNN；由KPI-PDBP与KPI-VPSO学习的SNN的鲁棒性取决于数据集；且与其他经典机器学习模型相比，ACC-PDBP在几乎所有测试数据集上均胜出。
引用
@article{arxiv.2008.06135,
title = {Learnability and Robustness of Shallow Neural Networks Learned With a Performance-Driven BP and a Variant PSO For Edge Decision-Making},
author = {Hongmei He and Mengyuan Chen and Gang Xu and Zhilong Zhu and Zhenhuan Zhu},
journal= {arXiv preprint arXiv:2008.06135},
year = {2021}
}
备注
36 pages, 21 figues for corresponding eps files. Neural Comput & Applic (2021)