有限位置-尺度混合模型下的最小 Wasserstein 距离估计量
机器学习
2021-07-06 v1 机器学习
摘要
当总体呈现异质性时，我们常通过有限混合模型来刻画：将其分解为若干不同但同质的子总体。当代实践倾向于通过最大化似然来学习混合模型，以获得统计效率，并利用便利的 EM 算法进行数值计算。然而，最大似然估计（MLE）尤其对于最广泛使用的有限正态混合、以及一般意义上的有限位置-尺度混合而言并不良定义。因此我们研究 MLE 的可行替代方案，例如最小距离估计量。近来，Wasserstein 距离在机器学习界受到越来越多的关注。它具有直观的几何解释，并成功应用于许多新场景中。我们通过最小 Wasserstein 距离估计量（MWDE）来学习有限位置-尺度混合是否能有所获益？本文从多个方面探讨这一可能性。我们发现 MWDE 具有一致性，并推导了有限位置-尺度混合下的数值解。我们研究了其针对离群值与轻微模型误设的稳健性。我们中等规模的模拟研究表明，MWDE 相较于惩罚版 MLE 普遍存在一定效率损失，而在稳健性上并无显著增益。我们重申即便对于非正则的有限位置-尺度混合，基于似然的学习策略仍具普遍优越性。
引用
@article{arxiv.2107.01323,
title = {Minimum Wasserstein Distance Estimator under Finite Location-scale Mixtures},
author = {Qiong Zhang and Jiahua Chen},
journal= {arXiv preprint arXiv:2107.01323},
year = {2021}
}