重新思考生成模型的模式覆盖:一种逐点保证方法
机器学习
2019-10-28 v7 机器学习
摘要
许多生成模型必须应对问题。对此的常规做法是通过训练减小生成分布与所给数据分布之间的统计距离(如-散度)。但这更多是启发式而非保证。统计距离衡量的是两个分布之间的而非相似性。即便它很小,也不能 imply 合理的模式覆盖。从博弈论视角重新思考该问题,我们表明完整的模式覆盖是切实可实现的。若一个生成模型在全局统计距离度量下能适度较好地逼近数据分布,那么我们将能找到一个生成器混合体,其共同覆盖数据点从而覆盖模式,且生成概率具有下界。构建该生成器混合体与乘性权重更新规则有关,我们据此提出算法。我们证明所提算法保证完整的模式覆盖。在真实与合成数据集上的实验证实了相较近期方法(同样使用生成器混合体但依赖全局统计距离)具有更好的模式覆盖。
引用
@article{arxiv.1902.04697,
title = {Rethinking Generative Mode Coverage: A Pointwise Guaranteed Approach},
author = {Peilin Zhong and Yuchen Mo and Chang Xiao and Pengyu Chen and Changxi Zheng},
journal= {arXiv preprint arXiv:1902.04697},
year = {2019}
}