无需端到端反向传播训练深度架构：可证明最优方法综述
机器学习
2022-08-10 v3 神经与进化计算
机器学习
摘要
本教程论文综述了端到端反向传播（E2EBP）——训练深度架构的事实标准——的可证明最优替代方案。模块化训练指严格局部训练，既无前向也无反向传播，即把深度架构划分为若干不重叠模块并分别训练而不进行任何端到端操作。在完全全局的 E2EBP 与严格局部的模块化训练之间，还存在仅无反向传播训练的弱模块化混合方案。这些替代方案在 ImageNet 等具挑战性数据集上可匹配或超越 E2EBP 的性能，并因相较于 E2EBP 具有实际优势而日益受到关注，本文将于此处列举这些优势。特别是，它们使深度学习工作流具有更强的模块化与透明性，使深度学习与重度利用模块化以实现可扩展性的主流计算机科学工程相一致。模块化训练还揭示了关于学习的新见解，并对其他重要研究领域有进一步启示。具体而言，它针对数据效率与可迁移性估计等一些重要实际问题诱导出自然且有效的解决方案。
引用
@article{arxiv.2101.03419,
title = {Training Deep Architectures Without End-to-End Backpropagation: A Survey on the Provably Optimal Methods},
author = {Shiyu Duan and Jose C. Principe},
journal= {arXiv preprint arXiv:2101.03419},
year = {2022}
}
备注
Accepted by IEEE Computational Intelligence Magazine