线性卷积网络上梯度下降的隐式偏置
机器学习
2019-01-14 v2 机器学习
摘要
我们证明，深度为的全宽线性卷积网络上的梯度下降收敛到频域中与桥惩罚相关的一个线性预测器。这与线性全连接网络形成对比，在后者中，无论深度如何，梯度下降都收敛到硬间隔线性支持向量机解。
引用
@article{arxiv.1806.00468,
title = {Implicit Bias of Gradient Descent on Linear Convolutional Networks},
author = {Suriya Gunasekar and Jason Lee and Daniel Soudry and Nathan Srebro},
journal= {arXiv preprint arXiv:1806.00468},
year = {2019}
}