Frank Wolfe算法在单隐藏层网络上的全局收敛性
最优化与控制
2020-02-07 v1 机器学习
摘要
我们推导了训练单隐藏层神经网络时Frank Wolfe算法的全局收敛界。当使用ReLU激活函数，且对样本数据集施加易处理的预条件假设时，用于增量构造解的线性最小化预言机可显式求解为一个二阶锥规划。经典Frank Wolfe算法随后以的速率收敛，其中既是神经元数量也是调用预言机的次数。
引用
@article{arxiv.2002.02208,
title = {Global Convergence of Frank Wolfe on One Hidden Layer Networks},
author = {Alexandre d'Aspremont and Mert Pilanci},
journal= {arXiv preprint arXiv:2002.02208},
year = {2020}
}