具有递减信息瓶颈的变分自编码器用于解耦
机器学习
2023-10-05 v2 人工智能
摘要
利用变分自编码器进行解耦学习的一大挑战是解耦与重建保真度之间的权衡。先前的研究在训练过程中增大信息瓶颈，往往丢失解耦约束，导致信息扩散问题。本文提出一种用于解耦表示学习的新框架 DeVAE，其利用跨这些空间具有递减信息瓶颈的层次化潜空间。我们方法的关键创新在于通过解耦不变变换连接层次化潜空间，从而在各空间间共享解耦特性，同时保持可接受的重建性能水平。我们在 dSprites 和 Shapes3D 数据集上通过一系列实验和消融研究证明了 DeVAE 在达成解耦与重建平衡方面的有效性。代码见 https://github.com/erow/disentanglement_lib/tree/pytorch#devae。
引用
@article{arxiv.2303.12959,
title = {Variantional autoencoder with decremental information bottleneck for disentanglement},
author = {Jiantao Wu and Shentong Mo and Xiang Yang and Muhammad Awais and Sara Atito and Xingshen Zhang and Lin Wang and Xiang Yang},
journal= {arXiv preprint arXiv:2303.12959},
year = {2023}
}