受复杂群体启发的具有局部误差信号的领导者-跟随者神经网络
机器学习
2023-10-13 v1 人工智能
摘要
由异构、资源受限的信息处理单元（如鱼群、鸟群或神经元网络）组成的网络所展现的群体行为，表现出高度的自组织性与复杂性。这些涌现特性源于简单的交互规则，其中某些个体可表现出类领导行为并影响群体的集体活动。受这些群体复杂性的启发，我们提出一种受自然界群体集合中所观测规则启发的神经网络（NN）架构。该 NN 结构包含承载一个或多个信息处理单元（如神经元、滤波器、层或层块）的工人。工人分为领导者或跟随者，我们通过利用局部误差信号并可选结合反向传播（BP）与全局损失来训练领导者-跟随者神经网络（LFNN）。我们考察工人行为并通过大量实验评估 LFNN。我们采用局部误差信号训练的 LFNN 在 MNIST 与 CIFAR-10 上比以往无 BP 算法错误率显著更低，甚至超越启用 BP 的基线。在 ImageNet 上，我们的 LFNN-l 展现出优越的可扩展性，并以显著优势超越以往无 BP 算法。
引用
@article{arxiv.2310.07885,
title = {Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives},
author = {Chenzhong Yin and Mingxi Cheng and Xiongye Xiao and Xinghe Chen and Shahin Nazarian and Andrei Irimia and Paul Bogdan},
journal= {arXiv preprint arXiv:2310.07885},
year = {2023}
}