树突网络:一种用于分类、回归与系统辨识的白盒模块
机器学习
2021-11-22 v6 计算机视觉与模式识别
摘要
对生物树突计算的模拟对人工智能(AI)的发展至关重要。本文提出一种基础机器学习算法,命名为树突网络(Dendrite Net,简称 DD),如同支持向量机(SVM)或多层感知机(MLP)。DD 的核心思想是:若输出的逻辑表达式包含输入之间对应类别的逻辑关系(与\或\非),则算法在学习后能够识别该类。实验与主要结果:DD 作为一种白盒机器学习算法,对黑盒系统展现出优异的系统辨识性能。其次,通过九个真实应用验证,相对于模仿神经元细胞体(细胞体网络)的 MLP 架构,DD 在回归任务中带来了更好的泛化能力。第三,通过 MNIST 与 FASHION-MNIST 数据集验证,在分类任务中 DD 在较大训练损失下比细胞体网络表现出更高的测试准确率。模块数量可有效调节 DD 的逻辑表达能力,从而避免过拟合并易于获得具有出色泛化能力的模型。最后,在 MATLAB 与 PyTorch(Python)中的重复实验表明,DD 在 epoch 与前向传播上均快于细胞体网络。本文的主要贡献是具有白盒属性、可控精度带来更好泛化能力以及更低计算复杂度的基础机器学习算法(DD)。DD 不仅可用于广义工程,而且作为深度学习的一个模块具有巨大发展潜力。DD 代码见 GitHub:https://github.com/liugang1234567/Gang-neuron 。
引用
@article{arxiv.2004.03955,
title = {Dendrite Net: A White-Box Module for Classification, Regression, and System Identification},
author = {Gang Liu and Jing Wang},
journal= {arXiv preprint arXiv:2004.03955},
year = {2021}
}
备注
Dendrite (DD)---A new "block" since decades. Published by IEEE Transactions on Cybernetics