论强制模型可辨识性对高斯混合模型学习动态的影响
机器学习
2022-06-20 v1 机器学习
摘要
学习和分析统计模型的一种常见方式是在模型参数空间中考虑操作。但如果我们于参数空间中优化，且参数空间与底层统计模型空间之间不存在一一映射时会怎样？此类情况频繁出现于包含统计混合或随机神经网络的分层模型，这些模型被称为奇异模型。奇异模型揭示了机器学习中若干重要且被充分研究的问题，例如由吸引子行为导致的学习轨迹收敛速度下降。在本工作中，我们提出一种参数空间的相对重参数化技术，其给出了从奇异模型中提取正则子模型的通用方法。我们的方法在训练期间强制模型可辨识性，并研究了在相对参数化下高斯混合模型（GMMs）的梯度下降与期望最大化的学习动态，展示了更快的实验收敛性以及奇点附近动态流形形状的改善。将分析扩展至 GMMs 之外，我们进一步分析了相对重参数化下的 Fisher 信息矩阵及其对泛化误差的影响，并展示了该方法如何应用于深度神经网络等更复杂模型。
引用
@article{arxiv.2206.08598,
title = {On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models},
author = {Pascal Mattia Esser and Frank Nielsen},
journal= {arXiv preprint arXiv:2206.08598},
year = {2022}
}