双层规划遇见深度学习：推理学习方法的统一视角
机器学习
2021-09-14 v2 最优化与控制
摘要
在这项工作中，我们统一了文献中提出的若干推理学习方法，这些方法作为基于常规误差反向传播的替代训练算法而被提出。这些推理学习方法出于非常多样的动机而发展，主要旨在增强深度神经网络的生物合理性并改善训练方法的内在并行性。我们表明这些表面差异很大的方法都可通过连续应用双层优化规划的一种特定重构而得到。作为副产物，同样显而易见的是所有被考察的推理学习方法都将反向传播作为特例包含在内，从而在典型设定下至少近似误差反向传播。最后，我们提出 Fenchel 反向传播，其用有限目标作为学习信号来替代标准反向传播中所传播的无穷小修正。因此 Fenchel 反向传播可视为通过显式目标传播进行学习的一个实例。
引用
@article{arxiv.2105.07231,
title = {Bilevel Programs Meet Deep Learning: A Unifying View on Inference Learning Methods},
author = {Christopher Zach},
journal= {arXiv preprint arXiv:2105.07231},
year = {2021}
}
备注
17 pages