面向前向 - 前向算法的卷积通道竞争学习
机器学习
2023-12-21 v1 计算机与社会
社会与信息网络
摘要
前向 - 前向（FF）算法最近被提出以缓解常用于训练深度神经网络的反向传播（BP）所存在的问题。然而，其当前形式存在局限性，例如负数据的生成、收敛速度较慢以及在复杂任务上表现不足。在本文中，我们采纳 FF 的主要思想，通过在卷积神经网络背景下利用通道竞争学习对其进行改进，以应用于图像分类任务。我们引入了一种逐层损失函数，促进竞争学习并消除了构建负数据的需求。为了增强组合特征的学习和特征空间划分，我们提出了一种通道特征分离器和提取器模块，以补充竞争学习过程。我们的方法在图像分类任务上优于最近的基于 FF 的模型，在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上分别取得了 0.58%、7.69%、21.89% 和 48.77% 的测试错误率。我们的方法弥合了 FF 学习与 BP 方法之间的性能差距，表明我们提出的方法具有以逐层模块化方式学习有用表示的潜力，从而实现更高效和灵活的学习。
引用
@article{arxiv.2312.12666,
title = {Incremental Semi-supervised Federated Learning for Health Inference via Mobile Sensing},
author = {Guimin Dong and Lihua Cai and Mingyue Tang and Laura E. Barnes and Mehdi Boukhechba},
journal= {arXiv preprint arXiv:2312.12666},
year = {2023}
}