用于训练条件随机场的不均匀随机平均梯度法
机器学习
2015-04-20 v1 机器学习
最优化与控制
统计计算
摘要
我们将随机平均梯度(SAG)算法应用于训练条件随机场(CRFs)。我们描述了一种实用实现，其利用CRF梯度中的结构来降低这种线性收敛随机梯度方法的内存需求，提出了一种大幅提升实际性能的非均匀采样方案，并分析了非均匀采样下SAGA变体的收敛速率。我们的实验结果表明，我们的方法在训练目标上常显著优于现有方法，并且在测试误差方面与最优调参的随机梯度方法表现相当或更好。
引用
@article{arxiv.1504.04406,
title = {Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields},
author = {Mark Schmidt and Reza Babanezhad and Mohamed Osama Ahmed and Aaron Defazio and Ann Clifton and Anoop Sarkar},
journal= {arXiv preprint arXiv:1504.04406},
year = {2015}
}
备注
AI/Stats 2015, 24 pages