通过多阶段建模改进解耦表示学习器的重构
机器学习
2024-11-05 v3 计算机视觉与模式识别
机器学习
摘要
当前基于自编码器的解耦表示学习方法通过对（聚合）后验施加惩罚以鼓励潜变量的统计独立性来实现解耦。这种方法在解耦表示学习与重构质量之间引入了权衡，因为模型没有足够的能力来学习能够捕捉大多数图像数据中存在的细节信息的相关潜变量。为克服这一权衡，我们提出了一种新颖的多阶段建模方法：首先使用基于惩罚的解耦表示学习方法学习解耦因子；然后，用另一个深度生成模型来改进低质量重构，该模型被训练为对缺失的相关潜变量建模，在保持对先前学到的解耦因子进行条件化的同时添加细节信息。综上，我们的多阶段建模方法形成了一个单一、连贯的概率模型，该模型由 D-分离原理在理论上证明合理，并可用多种模型类实现，包括基于似然的模型（如变分自编码器）、隐式模型（如生成对抗网络）以及易处理模型（如归一化流或高斯混合）。我们证明，在多个标准基准上，我们的多阶段模型在等效解耦性能下比当前最先进方法具有更高的重构质量。此外，我们将多阶段模型应用于生成合成表格数据集，在多种指标上展示了相对于基准模型的增强性能。可解释性分析进一步表明，多阶段模型能有效揭示不同的、有意义的变化特征，并可由这些特征恢复原始分布。
引用
@article{arxiv.2010.13187,
title = {Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling},
author = {Akash Srivastava and Yamini Bansal and Yukun Ding and Cole Lincoln Hurwitz and Kai Xu and Bernhard Egger and Prasanna Sattigeri and Joshua B. Tenenbaum and Agus Sudjianto and Phuong Le and Arun Prakash R and Nengfeng Zhou and Joel Vaughan and Yaqun Wang and Anwesha Bhattacharyya and Kristjan Greenewald and David D. Cox and Dan Gutfreund},
journal= {arXiv preprint arXiv:2010.13187},
year = {2024}
}