神经条件梯度法
机器学习
2018-07-31 v2 机器学习
摘要
机器学习中从手工设计优化器到学习式优化器的转变，对于基于梯度与无梯度的优化器都颇为成功。然而，面对约束问题时，保持可行性通常需要投影步骤，这可能计算代价高昂且不可微。我们展示了如何将无投影凸优化算法的设计转化为基于 Frank-Wolfe 网络的学习问题：即实现 Frank-Wolfe 算法（亦称条件梯度法）的循环网络。这使其能够在例如对秩-1 矩阵优化时学会利用结构。我们的 LSTM 学习优化器优于手工设计以及有学习但未加约束的优化器。我们在训练支持向量机与 softmax 分类器上展示了这一点。
引用
@article{arxiv.1803.04300,
title = {Neural Conditional Gradients},
author = {Patrick Schramowski and Christian Bauckhage and Kristian Kersting},
journal= {arXiv preprint arXiv:1803.04300},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1610.05120 by other authors