具有坐标频率在线自适应的坐标下降算法
机器学习
2014-01-16 v1 机器学习
摘要
坐标下降算法已成为解决机器学习中诸多优化问题的首选方法。它们在训练线性模型时尤为流行，包括线性支持向量机分类、LASSO回归和逻辑回归。我们考虑具有非均匀坐标选择的一般坐标下降算法。我们提出了一种针对这一重要参数的在线自适应机制，称为自适应坐标频率方法，而非事先固定选择频率。该机制免去了事先估计最优坐标频率的需要，并能自动响应优化过程中需求的变化。我们展示了ACF-CD方法在机器学习背景下产生的各种优化问题中的有效性。与最先进的训练方法相比，我们的算法实现了显著的加速。
引用
@article{arxiv.1401.3737,
title = {Coordinate Descent with Online Adaptation of Coordinate Frequencies},
author = {Tobias Glasmachers and Ürün Dogan},
journal= {arXiv preprint arXiv:1401.3737},
year = {2014}
}