重新审视解耦表示学习中聚合后验的分解
机器学习
2021-05-11 v2 人工智能
机器学习
摘要
在解耦表示学习问题中，一种有前景的方法是通过惩罚采样潜变量的总相关性来分解聚合后验。然而，这一动机良好的策略存在盲点：采样潜表示与其对应均值表示之间存在差异。本文给出理论解释：采样表示的低总相关性不能保证均值表示的低总相关性。事实上，我们证明对多元正态分布，具有任意高总相关性的均值表示可对应有界总相关性的采样表示。我们还提出消除此差异的方法。实验表明，我们的模型能学到总相关性低得多的均值表示，从而得到分解的均值表示。此外，我们详细阐释了分解聚合后验的局限：因子解体。我们的工作指出了解耦学习未来研究的潜在方向。
引用
@article{arxiv.2009.05739,
title = {Revisiting Factorizing Aggregated Posterior in Learning Disentangled Representations},
author = {Ze Cheng and Juncheng Li and Chenxu Wang and Jixuan Gu and Hao Xu and Xinjian Li and Florian Metze},
journal= {arXiv preprint arXiv:2009.05739},
year = {2021}
}