直接反馈对齐可扩展至现代深度学习任务与架构
机器学习
2021-02-18 v2 机器学习
神经与进化计算
摘要
尽管反向传播算法是深度学习的基石，但它并非万灵药。它强制逐层顺序更新，从而阻碍了训练过程的高效并行化。此外，其生物合理性正受到质疑。人们已设计出替代方案；然而，在突触不对称的约束下，尚无方案能扩展至现代深度学习任务与架构。在此，我们挑战这一观点，并研究直接反馈对齐（Direct Feedback Alignment）在神经视图合成、推荐系统、几何学习和自然语言处理中的适用性。与以往局限于计算机视觉任务的研究不同，我们的结果表明，它成功训练了多种最先进的深度学习架构，性能接近精调的反向传播。与普遍看法相左，我们的工作支持在缺乏权重传输的情况下也能处理具有挑战性的任务。
引用
@article{arxiv.2006.12878,
title = {Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures},
author = {Julien Launay and Iacopo Poli and François Boniface and Florent Krzakala},
journal= {arXiv preprint arXiv:2006.12878},
year = {2021}
}
备注
23 pages, 6 figures, 10 tables. For associated code, see https://github.com/lightonai/dfa-scales-to-modern-deep-learning. Poster at NeurIPS 2020