免调参随机优化

大规模机器学习问题使得超参数调优的成本越来越高。这需要能够在线自动调优的算法。我们形式化了“免调参”算法的概念，这类算法在仅给定相关问题参数的粗略提示的情况下，能够匹配最优调优优化算法的性能，最多相差多对数因子。我们特别考虑了能够匹配最优调优随机梯度下降（SGD）的算法。当优化域有界时，我们证明了免调参匹配SGD是可能的，并且已有几种算法实现了这一点。我们证明，对于在无界域上最小化凸且光滑或Lipschitz函数的任务，免调参优化是不可能的。我们讨论了即使在无界域上免调参优化可能成立的条件。特别地，我们表明，当噪声分布足够良好时，最近提出的DoG和DoWG算法是免调参的。对于寻找光滑且可能非凸函数的驻点任务，我们给出了SGD的一个变体，它以仅增加多对数代价匹配了调优SGD的最佳已知高概率收敛率。然而，我们也给出了一个不可能性结果，表明没有算法能够以高概率匹配调优SGD的最优期望收敛率。