训练最大间隔马尔可夫网络的更快速率

结构化输出预测无论在理论还是实践中都是一个重要的机器学习问题，而最大间隔马尔可夫网络（\mcn）是一种有效的方法。所有用于优化\mcn\目标的最先进算法至少需要$O(1/\epsilon)$次迭代才能找到$\epsilon$精确解。结构化优化领域的最新结果表明，通过利用目标函数的结构可以实现更快的收敛速率。为此，\citet{Nesterov05}提出了一种基于欧几里得投影的过度间隙缩减技术，该技术在强凸函数上以$O(1/\sqrt{\epsilon})$次迭代收敛。不幸的是，当应用于\mcn时，这种方法不允许图模型分解，而图模型分解对于保持每次迭代的计算可行性至关重要，正如许多现有算法所做的那样。在本文中，我们提出了一种新的基于Bregman投影的过度间隙缩减技术，该技术自然地允许图模型分解，并以$O(1/\sqrt{\epsilon})$次迭代收敛。与现有算法相比，我们的方法在收敛速率上对$\epsilon$和问题的其他参数具有更好的依赖性，并且可以轻松地进行核化。