何时会出现边际夹紧对训练方差的影响？对比前向前移学习中数据依赖效应的分析

对比前向前移（Contrastive Forward-Forward，CFF）学习在受监督对比目标下逐层训练视觉变换器。CFF 训练对随机种子敏感，但其不稳定性的来源尚不清楚。我们关注一种实现细节：正负对之间的边际通过饱和相似性夹紧 $\min(s + m,\, 1)$ 应用于对比损失。我们证明，另一种形式在 mean-over-positives 归约下是梯度中性的，即在对数概率后减去边际。在 CIFAR-10（$2 \times 2$ 阶乘，$n{=}7$ 个种子/单元），夹紧导致 pooled 测试准确率方差提高 $5.90\times$（$p{=}0.003$），而平均准确率无差异。对夹紧激活率、层级梯度范数和降低边际的探针分析指向早期层的饱和驱动梯度截断。该效应不清晰地转移到其他数据集：在 CIFAR-100、SVHN 和 Fashion-MNIST 上，夹紧产生的方差相等或更低。两个因素解释了差异。首先，正负对密度每批次控制了饱和发生的频率。其次，任务难度在准确率较高时压缩了种子间的 spread。SVHN 难度扫荡在单个数据集上确认了这种相互作用，方差比从 $0.25\times$ 在高准确率下移动到 $16.73\times$ 在激进数据增强下。在中等准确率 regime 下且每批次中相同类别对较多的情况下，改用梯度中性减法参考可在不损害平均准确率的情况下消除这种方差膨胀。测量 layer-0 夹紧激活率作为判断问题是否适用的简单检查。