关联学习：基于自编码器与目标传播分解端到端反向传播
神经与进化计算
2021-02-10 v4 机器学习
机器学习
摘要
反向传播（BP）是当今深度学习算法的基石，但其效率低下部分源于反向锁定，即更新某一层权重会锁定其他层的权重更新。因此，应用并行计算或流水线结构来同时更新不同层权重具有挑战性。本文引入一种称为关联学习（AL）的新型学习结构，将网络模块化为更小的组件，每个组件具有局部目标。由于目标相互独立，AL可独立且同时地学习不同层参数，因此可行地应用流水线结构以提高训练吞吐量。具体而言，该流水线结构将训练时间复杂度从使用BP和随机梯度下降（SGD）训练时的O(nl)改善为O(n + l)，其中n为训练样本数，l为隐藏层数。令人惊讶的是，尽管AL中大多数参数不直接与目标变量交互，用该方法训练深度模型所达准确率可与典型BP方法（所有参数均用于预测目标变量）训练的模型相媲美。因此，鉴于实验中展示的可扩展性与预测能力，AL值得进一步研究以确定更好的超参数设置，如激活函数选择、学习率调度和权重初始化，以积累经验，正如多年来我们对典型BP方法所做的那样。此外，或许我们的设计也能启发深度学习的新网络设计。我们的实现见 https://github.com/SamYWK/Associated_Learning。
引用
@article{arxiv.1906.05560,
title = {Associated Learning: Decomposing End-to-end Backpropagation based on Auto-encoders and Target Propagation},
author = {Yu-Wei Kao and Hung-Hsuan Chen},
journal= {arXiv preprint arXiv:1906.05560},
year = {2021}
}
备注
34 pages, 6 figures, 7 tables