驯服 VAEs
机器学习
2018-10-02 v1 机器学习
摘要
尽管深度潜变量生成建模取得了显著进展，由于优化与泛化问题的交织，训练仍具挑战。在实践中，常采用启发式算法（如手工设计的 KL 项退火）的组合以获得期望结果，但此类方案对模型架构或数据集的变化并不鲁棒。最佳设置往往因问题而异，需要对每个新案例进行昂贵的参数扫描。在此我们发展以附加约束训练 VAEs 的思想，作为控制其行为的一种方式。我们首先给出约束 VAEs 的详细理论分析，增进对其工作机制的理解。随后我们引入并分析一种称为带约束优化的广义 ELBO（GECO）的实用算法。GECO 对机器学习从业者的主优势在于更直观且有原则的损失调优过程。这涉及定义一组约束，其通常与期望的模型性能有显式关联，而非调整隐式影响模型行为的抽象超参数。在多个标准数据集上令人鼓舞的实验结果表明，GECO 是平衡重构与压缩约束的非常鲁棒且有效的工具。
引用
@article{arxiv.1810.00597,
title = {Taming VAEs},
author = {Danilo Jimenez Rezende and Fabio Viola},
journal= {arXiv preprint arXiv:1810.00597},
year = {2018}
}