遗传算法与梯度下降法在面向小医学数据集低数据场景的神经网络架构训练中的比较
神经与进化计算
2026-05-28 v1 机器学习
摘要
目的/引言：距离编码生物形态信息神经网络（DEBI-NN）是一种最近提出的架构，其中连接权重由位于欧几里得空间中的神经元之间的距离定义。与直接训练权重的经典神经网络相比，这种方法极大地减少了可训练参数的数量。DEBI-NN的训练过程基于遗传算法（GA），而不是深度学习中最流行的优化算法——梯度下降法（GD）。我们旨在为DEBI-NN设计和实现一个GD学习器，并评估其与GA相比的性能。材料与方法：我们设计了一种针对DEBI-NN定制的空间反向传播方案，并在分类任务上对GD和GA进行了比较，使用了合成的非线性“双月”数据集、两个临床医学影像放射组学数据集和一个胎儿胎心宫缩图数据集，样本量从n=85到n=2126不等。每个优化器都通过针对每个数据集调整的超参数搜索进行了调优。结果：在所有实验中，GA始终产生更优的决策边界和分类性能（合成数据集：100% vs 83%；DLBCL：83% vs 78%；HECKTOR：80% vs 67%；胎儿数据集：81% vs 66%），而GD表现出不稳定性，未能完全捕捉DEBI-NN空间编码固有的非线性模式。由神经元相互依赖性导致的纠缠梯度限制了经典反向传播的有效性。结论：这些发现揭示了基于梯度的方法在具有高度相互依赖空间参数的架构中的根本局限性，并确认了进化策略对于训练DEBI-NN的适用性。
引用
@article{arxiv.2605.27411,
title = {Genetic algorithm vs. gradient descent for training a neural network architecture dedicated to low data regimes in small medical datasets},
author = {Amine Boukhari and Boglarka Ecsedi and Laszlo Papp and Mathieu Hatt},
journal= {arXiv preprint arXiv:2605.27411},
year = {2026}
}