解锁深度学习：一种用于神经网络并行分块训练的无反向传播方法
机器学习
2023-12-22 v1 图像与视频处理
摘要
反向传播（BP）一直是一种成功的深度学习模型优化技术。然而，其局限性（如反向锁定和更新锁定）以及生物学上的不合理性，阻碍了各层的并发更新，且无法模拟人脑中观察到的局部学习过程。为解决这些问题，近期研究建议使用局部误差信号异步训练网络块。然而，该方法通常需要大量的试错迭代，以确定局部训练的最佳配置，包括如何解耦网络块以及为每个块使用哪些辅助网络。在我们的工作中，我们引入了一种新颖的无反向传播方法：分块无反向传播（BWBPF）神经网络，该方法利用局部误差信号分别优化不同的子神经网络，其中全局损失仅负责更新输出层。无反向传播模型中使用的局部误差信号可以并行计算，从而通过并行实现加速权重更新过程。我们的实验结果一致表明，该方法能够为 VGG 和 ResNet 变体识别出可迁移的解耦架构，在 CIFAR-10 和 Tiny-ImageNet 等数据集上优于使用端到端反向传播及其他最先进分块学习技术训练的模型。代码发布于 https://github.com/Belis0811/BWBPF。
引用
@article{arxiv.2312.13311,
title = {Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks},
author = {Anzhe Cheng and Zhenkun Wang and Chenzhong Yin and Mingxi Cheng and Heng Ping and Xiongye Xiao and Shahin Nazarian and Paul Bogdan},
journal= {arXiv preprint arXiv:2312.13311},
year = {2023}
}
备注
The paper has been accepted by ICASSP2024