使用自然梯度下降训练条件随机场
机器学习
2015-08-11 v1
摘要
我们提出了一种新颖的参数估计程序，可高效用于条件随机场（CRF）。该算法是最大似然估计（MLE）的扩展，使用由 Bregman 散度定义的损失函数来衡量模型期望与特征向量经验均值之间的接近程度。这产生了一个灵活的训练框架，从中可以使用自然梯度下降（NGD）推导出多种更新策略。我们仔细选择诱导 Bregman 散度的凸函数以减少更新类型，同时通过变换对数似然损失函数的梯度使优化过程更有效。推导出的算法非常简单，可以很容易地在现有的随机梯度下降（SGD）优化程序之上实现，且如实验结果所示，其效果非常显著。
引用
@article{arxiv.1508.02373,
title = {Training Conditional Random Fields with Natural Gradient Descent},
author = {Yuan Cao},
journal= {arXiv preprint arXiv:1508.02373},
year = {2015}
}