过参数化在潜变量模型学习中所带来益处的实证研究
机器学习
2020-07-17 v3 机器学习
摘要
在监督学习中最令人惊讶和兴奋的发现之一是过参数化（即训练一个非常大的模型）对改善问题优化景观的益处，且对统计性能（即泛化）影响极小。相比之下，无监督设置下的探索不足，尽管早在 Dasgupta & Schulman (2007) 就观察到过参数化可能是有帮助的。我们通过合成和半合成实验，对无监督潜变量模型学习中过参数化的不同方面进行实证研究。我们讨论了其对不同成功指标（恢复真值模型的参数、留出对数似然）的益处、对训练算法变化的敏感性，以及随过参数化量增加时的行为。我们发现，在多种模型（噪声或网络、稀疏编码、概率上下文无关文法）和训练算法（变分推断、交替最小化、期望最大化）中，过参数化能显著增加了所恢复的 ground-truth 潜变量数量。
引用
@article{arxiv.1907.00030,
title = {Empirical Study of the Benefits of Overparameterization in Learning Latent Variable Models},
author = {Rares-Darius Buhai and Yoni Halpern and Yoon Kim and Andrej Risteski and David Sontag},
journal= {arXiv preprint arXiv:1907.00030},
year = {2020}
}
备注
22 pages, to appear at ICML 2020