PropNEAT——一种面向神经进化增强拓扑网络的高效GPU兼容反向传播实现
机器学习
2024-11-07 v1 人工智能
神经与进化计算
摘要
我们提出了PropNEAT，这是一种NEAT的快速反向传播实现，利用基因组图到分层架构的双向映射，在保留NEAT基因组的同时实现高效的GPU反向传播。我们在来自Penn机器学习基准数据库的58个二分类数据集上测试了PropNEAT，将其性能与逻辑回归、密集神经网络和随机森林以及PropNEAT最终模型的密集重训练变体进行了比较。PropNEAT取得了仅次于随机森林的第二佳整体性能，但模型之间的差异在统计上不显著，除了随机森林与逻辑回归以及PropNEAT重训练模型之间的差异。PropNEAT比朴素的反向传播方法快得多，两者都比原始NEAT实现更快且性能更好。我们证明了PropNEAT的每个epoch训练时间随网络深度线性增长，并且在GPU实现中反向传播效率较高。该实现可以扩展以支持强化学习或卷积网络，并且能够找到更稀疏和更小的网络，有望应用于低功耗场景。
引用
@article{arxiv.2411.03726,
title = {PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks},
author = {Michael Merry and Patricia Riddle and Jim Warren},
journal= {arXiv preprint arXiv:2411.03726},
year = {2024}
}