LP-SparseMAP：面向稀疏结构化预测的可微松弛优化
机器学习
2020-08-06 v3 计算与语言
机器学习
摘要
结构化预测需要处理大量组合结构，例如依存树或对齐，作为隐变量或输出变量。近来，SparseMAP 方法被提出作为最大后验（MAP）与边缘推断的可微、稀疏替代方案。SparseMAP 返回少量结构的组合，这是某些下游应用中令人期望的性质。然而，SparseMAP 需要一个易处理的 MAP 推断预言机。这排除了例如环状图模型或带逻辑约束的因子图，它们通常需要近似推断。在本文中，我们引入 LP-SparseMAP，一种通过局部多面体松弛解决此限制的 SparseMAP 扩展。LP-SparseMAP 使用灵活且强大的因子图领域特定语言来定义任意隐结构并反向传播，支持粗粒度分解、硬逻辑约束与高阶关联。我们推导了将 LP-SparseMAP 用作隐层或输出层所需的前向与反向算法。在三个结构化预测任务上的实验显示了相比 SparseMAP 与结构化 SVM 的优势。
引用
@article{arxiv.2001.04437,
title = {LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction},
author = {Vlad Niculae and André F. T. Martins},
journal= {arXiv preprint arXiv:2001.04437},
year = {2020}
}
备注
34 pages, 5 tables, 4 figures. ICML 2020