通过流模型辨识以恢复潜表示
机器学习
2020-04-28 v4 机器学习
摘要
可辨识性，或从观测数据所源自的真实潜表示中恢复之，事实上是表示学习的基本目标。然而，大多数深度生成模型未触及可辨识性问题，因而未能兑现恢复生成观测的真实潜源之承诺。近期工作提出使用变分自编码器（iVAE）的可辨识生成建模及一套可辨识性理论。但由于变分近似后验与真实后验间 KL 散度不可解，iVAE 不得不最大化边际似然的证据下界（ELBO），导致理论与实践中均次优的解。相反，我们提出一种使用基于流的模型（iFlow）估计潜表示的可辨识框架。我们的方法直接最大化边际似然，从而允许可辨识性的理论保证，由此免去变分近似。我们解析地推导其优化目标，使 iFlow 得以端到端训练。在合成数据上的仿真验证了所提方法的正确性与有效性，并展示了其相对于其他现有方法的实际优势。
引用
@article{arxiv.1909.12555,
title = {Identifying through Flows for Recovering Latent Representations},
author = {Shen Li and Bryan Hooi and Gim Hee Lee},
journal= {arXiv preprint arXiv:1909.12555},
year = {2020}
}