SymBa：基于前向-前向算法、用于优化收敛的对称无反向传播对比学习
计算机视觉与模式识别
2023-03-16 v1 人工智能
摘要
本文提出了一种称为SymBa的新算法，旨在实现比反向传播（BP）更具生物学合理性的学习。该算法基于前向-前向（FF）算法，这是一种无需BP的神经网络训练方法。SymBa通过解决由正负样本收敛方向冲突所引起的非对称梯度问题，改善了FF算法的收敛行为。该算法平衡正负损失以提升性能和收敛速度。此外，它通过加入包含类别信息的内在类别模式（ICP）来修改FF算法，以防止训练过程中类别信息的丢失。所提算法有潜力增进我们对大脑如何学习与处理信息的理解，并开发更高效有效的人工智能系统。本文给出了实验结果，证明了SymBa算法相较于FF算法和BP的优越性。
引用
@article{arxiv.2303.08418,
title = {SymBa: Symmetric Backpropagation-Free Contrastive Learning with Forward-Forward Algorithm for Optimizing Convergence},
author = {Heung-Chang Lee and Jeonggeun Song},
journal= {arXiv preprint arXiv:2303.08418},
year = {2023}
}