通用边缘化器的掩码方案

Divya Gautam; Maria Lomeli; Kostis Gourgoulias; Daniel H. Thompson; Saurabh Johri

通用边缘化器的掩码方案

机器学习 2020-01-17 v1 机器学习

作者: Divya Gautam , Maria Lomeli , Kostis Gourgoulias , Daniel H. Thompson , Saurabh Johri

摘要

我们考虑在训练通用边缘化器（arXiv:1711.00695）以学习形如 $P(x_i |\mathbf x_{\mathbf b})$ 的条件分布时，结构无关和结构依赖的掩码方案的影响，其中 $x_i$ 是给定的随机变量， $\mathbf x_{\mathbf b}$ 是所关注生成模型的所有随机变量的某个任意子集。换言之，我们模拟去噪自编码器的自监督训练，其中未标记数据集被用作部分观测输入，神经近似器被优化以最小化重构损失。我们聚焦于研究部分观测数据的底层过程——当预测时的观测过程不同于训练期间的掩码过程时，神经近似器学习所有条件分布的效果如何？我们比较了使用不同掩码方案训练的网络在预测性能和泛化特性方面的表现。

关键词

通用边缘化器掩码方案条件分布去噪自编码器自监督训练神经近似器

引用

@article{arxiv.2001.05895,
  title  = {Masking schemes for universal marginalisers},
  author = {Divya Gautam and Maria Lomeli and Kostis Gourgoulias and Daniel H. Thompson and Saurabh Johri},
  journal= {arXiv preprint arXiv:2001.05895},
  year   = {2020}
}

备注

To be published in Proceedings of the 2nd Symposium on Advances in Approximate Bayesian Inference, 2019

通用边缘化器的掩码方案

摘要

关键词

引用

备注

相关论文