通过最小化规模、散度或其和进行推断
机器学习
2012-03-19 v1 计算与语言
机器学习
摘要
我们通过忽略那些对整体准确性贡献不大的因子来加速边际推断。为了选择合适的因子子集忽略，我们提出了三种方案：在修剪模型与完整模型之间的KL散度有界的情况下最小化模型因子数量；在因子数量有界的情况下最小化KL散度；以及最小化KL散度与因子数量的加权和。所有三个问题都通过KL散度的近似来解决，该近似可以根据在简单种子图上计算的边际来计算。应用于合成图像去噪和三种不同类型的NLP解析模型，该技术执行边际推断的速度比loopy BP快11倍，图大小减少高达98%，同时边际误差和解析准确性相当。我们还表明，最小化散度与大小的加权和比基于此处给出的散度近似的最小化其他两个目标要快得多。
引用
@article{arxiv.1203.3511,
title = {Inference by Minimizing Size, Divergence, or their Sum},
author = {Sebastian Riedel and David A. Smith and Andrew McCallum},
journal= {arXiv preprint arXiv:1203.3511},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Sixth Conference on Uncertainty in Artificial Intelligence (UAI2010)