查询训练：在含隐变量的无向图模型中学习更差的模型以推断更好的边际
机器学习
2021-03-01 v4 机器学习
摘要
概率图模型（PGM）提供了一种紧凑的知识表示，可以以灵活的方式查询：在一次性学习图模型参数后，新的概率查询可在测试时回答而无需重新训练。然而，当使用含隐变量的无向 PGM 时，除最简单的模型外，两类误差通常会叠加：(a) 学习误差（计算配分函数并对隐变量积分均不可解）；(b) 预测误差（精确推断同样不可解）。本文引入查询训练（QT），一种学习 PGM 的机制，该 PGM 针对将与之配对的近似推断算法进行了优化。所得 PGM 是数据的更差模型（以似然度量），但经过调谐以对给定推断算法产生更好的边际。与先前工作不同，我们的方法保留了原始 PGM 的查询灵活性：在测试时，我们可估计在任意部分证据下任意变量的边际。我们通过实验证明，QT 可用于学习具有挑战性的含隐变量 8-连通网格马尔可夫随机场，并且在三个无向模型跨多个数据集的测试上持续优于最先进的 AdVIL。
引用
@article{arxiv.2006.06803,
title = {Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables},
author = {Miguel Lázaro-Gredilla and Wolfgang Lehrach and Nishad Gothoskar and Guangyao Zhou and Antoine Dedieu and Dileep George},
journal= {arXiv preprint arXiv:2006.06803},
year = {2021}
}