改进的前向-前向对比学习
机器学习
2024-05-28 v3 神经与进化计算
摘要
反向传播算法，或称backprop，是深度学习中广泛使用的优化技术。虽然有越来越多的证据表明，使用反向传播训练的模型可以准确解释神经元数据，但在生物大脑中尚未发现类似反向传播的学习方法。此外，在大脑中直接实现反向传播有几个缺点。2022年，Geoffrey Hinton提出了一种生物上可信的学习方法，称为前向-前向（FF）算法。在这篇论文之后不久，一个称为FFCL的修改版本被提出。然而，FFCL有局限性，特别是它是一个三阶段学习系统，其中最后阶段仍然依赖于常规反向传播。在我们的方法中，我们通过消除FFCL的最后两个阶段并完全移除常规反向传播来解决这些缺点。相反，我们仅依赖局部更新，提供了一种更生物上可信的替代方案。
引用
@article{arxiv.2405.03432,
title = {Improved Forward-Forward Contrastive Learning},
author = {Gananath R},
journal= {arXiv preprint arXiv:2405.03432},
year = {2024}
}