面向 Forward-Forward 算法的卷积通道级竞争学习
机器学习
2024-03-29 v1 人工智能
计算机视觉与模式识别
摘要
Forward-Forward (FF) 算法近期被提出，以缓解常用于训练深度神经网络的反向传播 (BP) 所存在的问题。然而，其当前表述存在局限性，如负数据的生成、较慢的收敛速度以及在复杂任务上表现不佳。在本文中，我们汲取 FF 的主要思想，并在用于图像分类任务的卷积神经网络背景下，通过利用通道级竞争学习对其进行改进。我们引入了一种逐层损失函数，该函数促进竞争学习并消除了构建负数据的需求。为了增强组合特征的学习与特征空间划分，我们提出了一种通道级特征分离与提取模块，以补充竞争学习过程。我们的方法在图像分类任务上优于近期基于 FF 的模型，在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上分别取得了 0.58%、7.69%、21.89% 和 48.77% 的测试误差。我们的方法缩小了 FF 学习与 BP 方法之间的性能差距，表明了我们提出的方法以逐层模块化方式学习有用表示的潜力，从而实现更高效、更灵活的学习。
引用
@article{arxiv.2312.12668,
title = {Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm},
author = {Andreas Papachristodoulou and Christos Kyrkou and Stelios Timotheou and Theocharis Theocharides},
journal= {arXiv preprint arXiv:2312.12668},
year = {2024}
}
备注
To be published in AAAI 2024, 11 pages, 7 figures