在生成模型中主动避免无意义输出
机器学习
2018-02-21 v1 数据结构与算法
机器学习
摘要
当生成模型被拟合以最大化观测数据的似然时，可能会生成完全无意义的输出。这是由于“模型误差”造成的，即当真实数据生成分布不在所学习的生成模型类之中时。为此，我们提出一种主动分布学习模型，使用一个二元无效性预言机来识别某些明显无效的样本，并结合从真实分布中采样的随机正例。目标是在（几乎）从不生成被该预言机标记为无效的样本的约束下，最大化正例的似然。所给出的保证相对于一类概率分布是不可知论的。我们表明，虽然恰当学习通常需要指数级多次查询无效性预言机，但不当分布学习可以使用多项式级多次查询完成。
引用
@article{arxiv.1802.07229,
title = {Actively Avoiding Nonsense in Generative Models},
author = {Steve Hanneke and Adam Kalai and Gautam Kamath and Christos Tzamos},
journal= {arXiv preprint arXiv:1802.07229},
year = {2018}
}