利他多样化神经网络集成体的集体学习
机器学习
2020-06-23 v1 多智能体系统
神经与进化计算
机器学习
摘要
将神经网络集合的预测相结合通常优于最佳单一网络。此类集成体通常独立训练，其优越的“群体智慧”源于网络之间的差异。社会性相互作用动物群体的集体觅食与决策常因同种个体间的局部信息共享而改善甚至达到最优。因此我们提出一种相互作用神经网络集成体的协同学习模型，这些网络旨在最大化自身性能及其与其他网络的功能关联。我们表明相互作用网络集成体优于独立集成体，且当网络间耦合增加多样性并降低单个网络性能时，集成体达到最优性能。因此，即便无集成体的全局目标，最优集体行为仍从网络局部相互作用中涌现。我们展示了最优耦合强度随集成体规模的标度关系，且这些集成体中的网络在功能上专门化并对自身评估变得更“自信”。此外，最优协同学习网络在结构上不同，相较于独立训练的网络，其依赖更稀疏的活跃度、更宽的突触权重范围以及更高的放电率。最后，我们探索了基于相互作用的协同学习作为一种扩展和增强集成体的框架。
引用
@article{arxiv.2006.11671,
title = {Collective Learning by Ensembles of Altruistic Diversifying Neural Networks},
author = {Benjamin Brazowski and Elad Schneidman},
journal= {arXiv preprint arXiv:2006.11671},
year = {2020}
}