利用随机化扩展结构化推断
机器学习
2022-07-26 v3 计算与语言
数据结构与算法
应用统计
机器学习
摘要
深度离散结构化模型近来取得了显著进展，但使用动态规划（DP）的传统推断通常只适用于少量状态（少于数百），这严重限制了模型容量。与此同时，在机器学习各领域，近期出现了利用随机截断技术来加速涉及大求和的计算的趋势。在此，我们提出一类随机动态规划（RDP）算法，用于将结构化模型扩展到数万个隐状态。我们的方法广泛适用于经典的基于 DP 的推断（配分、边际、重参数化、熵）和不同的图结构（链、树以及更一般的超图）。它还与自动微分兼容：可无缝集成到神经网络中，并使用基于梯度的优化器进行学习。我们的核心技术通过限制 DP 并对少量节点子集重新加权来近似 sum-product，从而将计算量降低数个数量级。我们进一步通过 Rao-Blackwellization 和重要性采样实现了低偏差与低方差。在不同图上的实验证明了我们方法的准确性与高效性。此外，当使用 RDP 训练具有扩展推断网络的结构化变分自编码器时，我们取得了优于基线的测试似然，并成功防止了后验坍缩。代码见：https://github.com/FranxYao/RDP
引用
@article{arxiv.2112.03638,
title = {Scaling Structured Inference with Randomization},
author = {Yao Fu and John P. Cunningham and Mirella Lapata},
journal= {arXiv preprint arXiv:2112.03638},
year = {2022}
}
备注
ICML 2022 camera ready