Forward-Forward 良好函数设计中的选择性与形状
机器学习
2026-04-20 v2 人工智能
神经与进化计算
摘要
Forward-Forward（FF）算法通过局部“良好函数”逐层训练网络，但 sum-of-squares（SoS）至今是唯一研究过的良好函数选择。我们系统探索了良好函数的设计空间，识别出统一原则：良好函数必须敏感于神经活动的形状，而非其总能量。这一原则源于深层网络激活值遵循重尾分布，且判别信息常集中于峰值活动。我们提出两种互补函数族：选择性函数（top-k、entmax 加权能量）测量仅峰值活动，以及对形状敏感的函数（过度峰度/“冲击性”及更高阶矩）通过尺度不变统计奖赏重尾分布。结合独立的标签-特征前向（FFCL），控制实验覆盖 13 种良好函数、5 种激活函数、6 个数据集及三个连续参数扫描，每个实验均呈现特征倒U型曲线，实现在 Fashion-MNIST 上的 89.0%准确率，MNIST（4x2000）上的 98.2±0.1%准确率（相较于 SoS 提升 32.6pp），并在所有基准测试中均实现一致性提升（USPS 提升 72pp，SVHN 提升 52pp）。冲击性的尺度不变性使其在图层及数据集间的幅度变化下尤为稳健。
引用
@article{arxiv.2604.13081,
title = {Selectivity and Shape in the Design of Forward-Forward Goodness Functions},
author = {Talha Ruzgar Akkus and Suayp Talha Kocabay and Kamer Ali Yuksel and Hassan Sawaf},
journal= {arXiv preprint arXiv:2604.13081},
year = {2026}
}