结构正则化用于结构化预测：理论与实验
机器学习
2015-02-02 v2
摘要
尽管关于权重正则化的研究众多，但针对结构正则化的研究却十分匮乏。许多现有的结构化预测系统致力于增加模型内部的结构依赖程度。然而，这一趋势可能是错误的，因为我们的研究表明，复杂的结构实际上会损害结构化预测的泛化能力。为了控制基于结构的过拟合，我们提出了一种通过\emph{结构分解}实现的结构正则化框架，该框架将训练样本分解为具有更简单结构的微型样本，从而推导出具有更强泛化能力的模型。我们从理论和实证两方面表明，结构正则化能有效控制过拟合风险并提高准确率。作为附带成果，所提出的方法还能显著加快训练速度。该方法及理论结果适用于具有任意结构的通用图模型。在知名任务上的实验表明，我们的方法能够轻松超越这些高竞争性任务中的基准系统，在实现最先进（state-of-the-art）准确率的同时，训练速度也大幅加快。
引用
@article{arxiv.1411.6243,
title = {Structure Regularization for Structured Prediction: Theories and Experiments},
author = {Xu Sun},
journal= {arXiv preprint arXiv:1411.6243},
year = {2015}
}