神经极化：提高前向-only 学习算法的泛化与稳定性
机器学习
2024-09-12 v2 人工智能
神经与进化计算
摘要
前向-only 学习算法最近受到关注，作为梯度反向传播的替代方案，将后者的反向步骤替换为额外的对比前向传递。其中，所谓的 Forward-Forward Algorithm(FFA)已被证明在泛化性和复杂度方面达到与梯度反向传播相当的性能。使用 FFA 训练的网络学习如何在呈现真实数据(称为正样本)时对层级定义的良好度得分进行对比性最大化，并在处理合成数据(相应的负样本)时将其最小化。然而，该算法仍存在弱点，主要由于正负样本之间的梯度不平衡，导致模型准确率和训练稳定性受到影响。为克服此问题，本文提出了一种新的 FFA 实现，称为 Polar-FFA，通过引入神经分割(极化)来扩展原始公式，将正负实例分为两组神经元，每组神经元旨在针对其各自数据类型最大化其良好度，从而创建对称的梯度行为。为 empirically 衡量我们提出的 Polar-FFA改进学习能力的效果，我们在不同激活函数和良好度函数上进行了若干系统性实验。我们的结果表明，Polar-FFA 在准确率和收敛速度方面均优于 FFA。此外，其对超参数的较低依赖性降低了为确保最佳泛化能力所需的超参数调优需求，从而允许更广泛的神经网络配置。
引用
@article{arxiv.2408.09210,
title = {On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization},
author = {Erik B. Terres-Escudero and Javier Del Ser and Pablo Garcia-Bringas},
journal= {arXiv preprint arXiv:2408.09210},
year = {2024}
}
备注
Accepted in European Conference on Artificial Intelligence (ECAI), 2024