利用Beta伯努利过程改进解耦表示学习
机器学习
2019-09-05 v1 机器学习
摘要
为提升VAE在潜空间中的解耦能力，现有工作多聚焦于强制所学潜因子间的独立性。然而，这些模型的解耦能力常随生成因子的复杂度增加而下降。本文中，我们研究后验密度建模容量对VAE解耦能力的鲜有探索的影响。我们注意到，在正则化后验密度时，我们所约束的潜密度内的独立性与复杂度是两种不同的性质：前者提升VAE的解耦能力，而后者——若受限过度——会与VAE中的数据重建目标产生不必要的竞争。因此，若保持独立性但允许后验密度具有更丰富的建模容量，我们将消除这一竞争，从而同时实现改进的独立性与数据重建。我们以利用非参数潜因子模型、印度自助餐过程（IBP）作为潜密度的VAE来探究这一理论直觉，该潜密度能够随数据复杂度增长。在三个广泛使用的基准数据集及两个鲜用于解耦学习的临床数据集上，我们从定性与定量上展示了IBP-VAE相较最先进方法的改进解耦性能。在后两个充满复杂变化因子的临床数据集上，我们进一步展示通过IBP-VAE对干扰因子的无监督解耦——当与有监督目标结合时——不仅能相较相关有监督深度架构提升任务精度，还能促进与任务决策相关的知识发现。本工作的精简版将发表于ICDM 2019会议论文集。
引用
@article{arxiv.1909.01839,
title = {Improving Disentangled Representation Learning with the Beta Bernoulli Process},
author = {Prashnna Kumar Gyawali and Zhiyuan Li and Cameron Knight and Sandesh Ghimire and B. Milan Horacek and John Sapp and Linwei Wang},
journal= {arXiv preprint arXiv:1909.01839},
year = {2019}
}