我不需要你：无需侧信息的可辨识非线性独立成分分析

在本文中，我们研究了使用深度生成模型进行无监督表示学习在重复于相同输入数据上重新训练时的算法稳定性。用于学习低维线性表示的算法——例如主成分分析（PCA）或线性独立成分分析（ICA）——带有保证，即它们将始终揭示相同的潜在表示（可能至多一个任意旋转或置换）。遗憾的是，对于非线性表示学习，例如在通过随机梯度下降训练的变分自编码器（VAE）模型中，我们并无此类保证。近期关于非线性 ICA 可辨识性的工作引入了一系列具有可辨识潜在表示的深度生成模型，这是通过对侧信息（例如信息性标签）进行条件化而实现的。我们实证评估了这些模型在参数重复重估计下的稳定性，并将它们与标准 VAE 以及在潜在空间学习聚类的深度生成模型进行比较。令人惊讶的是，我们发现侧信息对于算法稳定性并非必要：使用可辨识性的标准定量度量，我们发现具有潜在聚类的深度生成模型在经验上可达到与依赖辅助标签的模型相同的可辨识程度。我们将这些结果与非线性 ICA 可辨识的可能性联系起来。