基于协方差感知的可扩展前向-前向学习良好性
机器学习
2026-05-07 v1 计算机视觉与模式识别
摘要
Forward-Forward 算法消除了全局梯度流和完整网络激活存储。然而，在卷积环境下，现有的无 BP 方法在 ImageNet-100 和 Tiny-ImageNet 等复杂基准上显著低于反向传播。我们识别出这一差距源于良好性提取中的结构性瓶颈：标准平方和公式将特征体积压缩为通道级激活能量，忽略了关键的二阶依赖。为此，我们提出一个以三个关键组件为中心的框架。首先，Bi-axis Covariance Goodness（BiCovG）显式地将结构化的二阶信息添加到标准良好性函数中：交叉通道投影建模特征间的协方差，嵌套多尺度聚合编码空间相关统计。这为在不产生昂贵 O(C^2) 复杂度的前提下提供了协方差感知良好性的可行近似。其次，轻量级 Logistic Fusion 模块聚合层级预测，放大更深层表示的贡献。第三，Feature Alignment Layer（FAL）在块边界引入零初始化的校正，以缓解在深层局部训练网络中的表示错位。通过引入这三个组件，我们有效地将可行的 Forward-Forward 学习深度翻倍，将稳健的层级利用从浅层基线扩展到 16 层此类架构如 VGG-16。得到的无 BP 模型在 ImageNet-100 上达 73.01%，在 Tiny-ImageNet 上达 50.30%。作为实用延伸，Hybrid Goodness Blocks 通过可配置的块大小控制梯度传播范围，进一步缩小 ImageNet-100 的差距至 3.6%，并在 Tiny-ImageNet 上匹配 BP，同时仍将峰值内存降低约 50%。
引用
@article{arxiv.2605.04346,
title = {Covariance-Aware Goodness for Scalable Forward-Forward Learning},
author = {Xiaoyi Jiang and Bashir M. Al-Hashimi and Kai Xu},
journal= {arXiv preprint arXiv:2605.04346},
year = {2026}
}