关于线性与ReLU网络中的间隔最大化
机器学习
2022-10-04 v4 机器学习
摘要
神经网络的隐式偏置近年来已被广泛研究。Lyu和Li [2019]指出，在采用指数或逻辑损失训练的齐次网络中，梯度流收敛到参数空间中最大间隔问题的KKT点。然而，该点是否一般为最大间隔问题的实际最优解仍属开放问题。本文详细研究该问题，针对涉及线性与ReLU激活的若干神经网络架构。或许令人惊讶的是，我们表明在许多情况下，该KKT点甚至不是最大间隔问题的局部最优解。另一方面，我们识别出可保证局部或全局最优的多种设定。
引用
@article{arxiv.2110.02732,
title = {On Margin Maximization in Linear and ReLU Networks},
author = {Gal Vardi and Ohad Shamir and Nathan Srebro},
journal= {arXiv preprint arXiv:2110.02732},
year = {2022}
}
备注
This version includes some minor updates