基于层次无监督学习的前向-前向算法数据与损失需求降低

最近的深度学习模型如ChatGPT利用反向传播算法展现出卓越的性能。然而，生物脑过程与反向传播算法之间的差异已被注意到。仅通过前向传播训练深度学习模型的前向-前向算法（Forward-Forward algorithm）应运而出，以解决这一问题。尽管前向-前向算法无法完全取代反向传播 due to需要特殊输入和损失函数等局限性，但其在反向传播难以使用的特定场景中具有潜在价值。为克服这一局限并验证其可用性，我们提出了一种无监督的前向-前向算法。使用无监督学习模型可在不受限于输入和损失函数的情况下进行训练。通过这一方法，我们实现了稳定的学习，并在各种数据集和任务中实现了灵活的应用。从可用性角度，结合前向-前向算法的特点和本方法的优势，我们预计其在联邦学习等场景下具有实际应用价值，在此类场景中，深度学习层需要在物理分布环境中单独训练。