扩展前向前向算法
机器学习
2023-07-18 v2
摘要
前向前向（Forward Forward）算法由 Geoffrey Hinton 于 2022 年 11 月提出，是一种作为反向传播替代方案的训练神经网络的新方法。在本项目中，我们复现了 Hinton 在 MNIST 数据集上的实验，随后通过两项重要贡献扩展了该方法的范围。首先，我们在 IMDb 影评数据集上建立了前向前向网络的基线性能。据我们所知，我们在该情感分析任务上的结果标志着该算法首次扩展到计算机视觉之外。其次，我们针对损失阈值（前向前向方法特有的超参数）引入了一种新颖的金字塔式优化策略。我们的金字塔方法表明，良好的阈值策略可使测试误差产生高达 8% 的差异。最后，我们对训练后的参数进行了可视化，并得出了若干重要见解，例如前向前向网络所获取的权重具有显著更大（10-20 倍）的均值和方差。代码库：https://github.com/Ads-cmu/ForwardForward
引用
@article{arxiv.2307.04205,
title = {Extending the Forward Forward Algorithm},
author = {Saumya Gandhi and Ritu Gala and Jonah Kornberg and Advaith Sridhar},
journal= {arXiv preprint arXiv:2307.04205},
year = {2023}
}