终结端到端：梯度隔离的表示学习方法
机器学习
2020-01-28 v3 人工智能
机器学习
摘要
我们提出了一种新颖的深度学习局部自监督表示学习方法，该方法不需要标签也不依赖端到端反向传播，而是利用数据中的自然顺序。受生物神经网络似乎无需反向传播全局误差信号即可学习这一观察的启发，我们将深度神经网络拆分为一堆梯度隔离的模块。每个模块使用 Oord 等人 [2018] 的 InfoNCE 界来最大化保留其输入的信息。尽管采用这种贪心训练，我们证明每个模块都优于其前驱模块的输出，并且顶层模块创建的表示在音频和视觉领域的下游分类任务上取得了极具竞争力的结果。该方案支持异步优化模块，允许在無标签数据集上大规模分布式训练极深的神经网络。
引用
@article{arxiv.1905.11786,
title = {Putting An End to End-to-End: Gradient-Isolated Learning of Representations},
author = {Sindy Löwe and Peter O'Connor and Bastiaan S. Veeling},
journal= {arXiv preprint arXiv:1905.11786},
year = {2020}
}
备注
Honorable Mention for Outstanding New Directions Paper Award at NeurIPS 2019