用于连续学习任务的对比对称前向-前向算法 (SFFA)

所谓的前向-前向算法 (FFA) 近期因作为神经网络学习中替代传统反向传播算法的新方法而受到关注，在各种建模任务中均展现出竞争性能。通过用两个对比的前向传递取代梯度反向传播的反向传递，FFA 通过启用分层训练启发式方法，规避了其前身程序（如梯度消失/爆炸）的诸多局限。在分类任务中，该对比方法已被证明能够有效创建输入数据的稀疏潜在表征，从而有利于判别性。然而，FFA 由于正负数据之间损失函数不平衡，表现出固有的非对称梯度行为，严重影响模型的泛化能力，导致准确率下降。为此，本文提出对称前向-前向算法 (SFFA)，即对原始 FFA 的一种新型修改，将每一层划分为正负神经元，从而将局部适应函数定义为正神经元激活与整个层级活动之比，训练期间形成对称的损失景观。为评估该方法提升的收敛性能，我们使用多个图像分类基准进行实验，比较使用 SFFA 训练的模型与其 FFA 对手的准确率。作为副产品，这一改造还探讨了在持续学习 (CL) 任务中使用分层训练算法的优势。分层训练算法引发的神经元专化及其激活稀疏性，使得能够高效地将新知识（类别）纳入神经网络，同时防止其对先前知识的不可逆遗忘。