Fenchel 提升网络：神经网络训练的拉格朗日松弛
机器学习
2019-11-15 v3 机器学习
摘要
尽管深度神经网络近期取得了成功，其对应的训练问题仍高度非凸且难以优化。已有一些模型类被提出，以抬升问题维度为代价为目标函数引入更强的结构。然而，这些提升方法有时表现不如传统神经网络。本文中，我们引入一类新的提升模型——Fenchel 提升网络，其享有先前提升模型的相同益处，又不会相较经典网络出现性能退化。我们的模型将激活函数表示为等价的双凸约束，并使用拉格朗日乘子得到传统神经网络训练问题的严格下界。该模型使用块坐标下降高效训练，并可跨数据点及/或层并行化。我们将我们的模型与标准全连接网络和卷积网络比较，表明我们能够匹配或超越其性能。
引用
@article{arxiv.1811.08039,
title = {Fenchel Lifted Networks: A Lagrange Relaxation of Neural Network Training},
author = {Fangda Gu and Armin Askari and Laurent El Ghaoui},
journal= {arXiv preprint arXiv:1811.08039},
year = {2019}
}