经验风险最小化的细粒度复杂性：核方法与神经网络
计算复杂性
2017-04-11 v1 数据结构与算法
机器学习
机器学习
摘要
经验风险最小化（ERM）在机器学习中无处不在，并且是大多数监督学习方法的基础。尽管针对各种ERM问题已有大量算法研究，但ERM的确切计算复杂性仍未被理解。我们针对多个流行的ERM问题解决了这一问题，包括核SVM、核岭回归以及训练神经网络的最后一层。特别地，我们基于强指数时间假设等复杂性理论假设，给出了这些问题的条件硬结果。在这些假设下，我们表明不存在能在亚二次时间内高精度解决上述ERM问题的算法。我们还给出了计算经验损失梯度的类似硬结果，这是许多非凸学习任务的主要计算负担。
引用
@article{arxiv.1704.02958,
title = {On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks},
author = {Arturs Backurs and Piotr Indyk and Ludwig Schmidt},
journal= {arXiv preprint arXiv:1704.02958},
year = {2017}
}