层次表示的渐进学习与解耦
机器学习
2020-02-26 v1 计算机视觉与模式识别
机器学习
摘要
从数据中学习丰富表示是变分自编码器（VAE）等深度生成模型的重要任务。然而，在自底向上推断过程中提取高层抽象时，为自顶向下生成保留所有变化因素的目标受到了损害。受“从小开始”概念的启发，我们提出一种策略，从高层到低层抽象渐进地学习独立的层次表示。模型从学习最抽象的表示开始，然后渐进地增长网络架构，以在不同抽象层次引入新表示。我们使用三个解耦指标（包括我们提出的、用于补充先前互信息间隙指标的新指标）在两个基准数据集上定量展示了所提模型相比现有工作改进解耦的能力。我们进一步给出定性与定量证据，说明学习的渐进过程如何改进层次表示的解耦。通过结合层次表示学习与渐进学习的各自优势，据我们所知，这是首次尝试通过渐进增大 VAE 容量以学习层次表示来改进解耦。
引用
@article{arxiv.2002.10549,
title = {Progressive Learning and Disentanglement of Hierarchical Representations},
author = {Zhiyuan Li and Jaideep Vitthal Murkute and Prashnna Kumar Gyawali and Linwei Wang},
journal= {arXiv preprint arXiv:2002.10549},
year = {2020}
}
备注
Main text: 9 pages, 7 figures. Supplements: 4 pages