中文

寻找优秀性:面向前向算法的大规模良好性函数基准测试

机器学习 2025-11-25 v1

摘要

前向-前向(Forward-Forward,FF)算法提供了一种生物学上符合人类直觉的反向传播备选方案,使神经网络能够通过局部更新来学习。然而,FF算法的效果很大程度上取决于“良好性”(goodness)的定义,而良好性是神经活动的标量度量。尽管当前实现主要利用简单求和平方度量,但是否选择该默认选项仍不明确。为此,我们在四个标准图像数据集(MNIST、FashionMNIST、CIFAR-10、STL-10)上对21种不同的良好性函数进行基准测试,评估分类准确率、能源消耗和碳足迹。我们发现,来自多个领域的某些替代性良好性函数显著优于标准基线。具体而言,\texttt{game\_theoretic\_local}在MNIST上实现了97.15%的准确率,\texttt{softmax\_energy\_margin\_local}在FashionMNIST上达到82.84%的准确率,\texttt{triplet\_margin\_local}在STL-10上达到37.69%的准确率。此外,我们观察到计算效率存在显著差异,这凸显了预测性能与环境成本之间的关键权衡。这些发现表明,良好性函数是FF设计中的关键超参数。我们在\href{https://github.com/aryashah2k/In-Search-of-Goodness}{Github}上发布代码供参考和可重复性使用。

关键词

引用

@article{arxiv.2511.18567,
  title  = {In Search of Goodness: Large Scale Benchmarking of Goodness Functions for the Forward-Forward Algorithm},
  author = {Arya Shah and Vaibhav Tripathi},
  journal= {arXiv preprint arXiv:2511.18567},
  year   = {2025}
}

备注

24 pages, 5 tables, 17 figures