用于非局部推断的Bethe投影
机器学习
2016-11-29 v3 计算与语言
机器学习
摘要
许多结构化预测中的推断问题自然可以通过用复杂的非局部辅助目标来增强易处理的依赖结构来解决。这包括变分推断算法的平均场族，使用拉格朗日松弛或线性规划的软或硬约束推断，集体图模型，以及诸如后验正则化等半监督学习形式。我们提出了一种方法来判别地学习广泛的推断目标族，捕获潜变量的强大非局部统计，同时保持易处理且可证明的快速推断，使用非欧几里得投影梯度下降，其距离生成函数由Bethe熵给出。我们通过以下方式展示方法的性能和灵活性：(1)通过学习软全局约束从研究论文中提取结构化引用，(2)使用新颖的学习非凸推断过程在广泛使用的手写识别任务上达到最先进结果，(3)为应用于鸟类迁徙的集体图模型中的推断这一挑战性问题提供快速且高度可扩展的算法。
引用
@article{arxiv.1503.01397,
title = {Bethe Projections for Non-Local Inference},
author = {Luke Vilnis and David Belanger and Daniel Sheldon and Andrew McCallum},
journal= {arXiv preprint arXiv:1503.01397},
year = {2016}
}
备注
minor bug fix to appendix. appeared in UAI 2015