潜变量生成模型的矩匹配度量
机器学习
2023-06-16 v2 性能
统计方法学
机器学习
摘要
在面对无监督学习问题时,评估拟合模型的质量可能十分困难。潜变量模型,如变分自编码器和高斯混合模型,通常基于似然方法进行训练。根据古德哈特定律,当度量成为目标时它便不再是一个好度量,因此我们不应使用似然来评估这些模型拟合的质量。我们提出的解决方案是一种依赖于矩的用于模型比较或正则化的新度量。其思想是借助矩阵范数(如 Frobenius 范数)研究数据矩与模型矩之间的差异。我们展示了如何将这一新度量用于模型比较以及正则化。在评估潜变量模型时通常从拟合分布中采样,我们证明所提度量计算更快且方差小于该替代方案。我们以两类应用的原理验证作结,并讨论未来工作。
引用
@article{arxiv.2111.00875,
title = {A moment-matching metric for latent variable generative models},
author = {Cédric Beaulac},
journal= {arXiv preprint arXiv:2111.00875},
year = {2023}
}