使用 GECO 与 L0 正则化对 VAE 瓶颈的动态收窄

Cedric De Boom; Samuel Wauthier; Tim Verbelen; Bart Dhoedt

使用 GECO 与 L0 正则化对 VAE 瓶颈的动态收窄

机器学习 2021-04-14 v3 机器学习

作者: Cedric De Boom , Samuel Wauthier , Tim Verbelen , Bart Dhoedt

摘要

在设计变分自编码器（VAEs）或其他类型的潜空间模型时，潜空间的维度通常事先确定。在此过程中，对于手头的应用，维度可能存在配置不足或过度的问题。在维度未预先定义的情况下，该参数通常通过耗时耗资源的交叉验证来确定。出于这些原因，我们开发了一种技术，利用带约束优化的广义 ELBO（GECO）和 $L_0$ -Augment-REINFORCE-Merge（ $L_0$ -ARM）梯度估计器，在训练期间自动且实时地收缩 VAE 的潜空间维度。GECO 优化器确保我们不违反预定义的重构误差上限。本文介绍了我们方法的算法细节以及在五个不同数据集上的实验结果。我们发现我们的训练过程稳定，并且潜空间可以在不违反 GECO 约束的情况下被有效剪枝。

关键词

变分自编码器潜空间剪枝 GECO L0-ARM 约束优化重构误差

引用

@article{arxiv.2003.10901,
  title  = {Dynamic Narrowing of VAE Bottlenecks Using GECO and L0 Regularization},
  author = {Cedric De Boom and Samuel Wauthier and Tim Verbelen and Bart Dhoedt},
  journal= {arXiv preprint arXiv:2003.10901},
  year   = {2021}
}

备注

8 pages, 3 figures, 1 table

使用 GECO 与 L0 正则化对 VAE 瓶颈的动态收窄

摘要

关键词

引用

备注

相关论文