SQ-VAE：基于自退火随机量化的离散表示变分贝叶斯
机器学习
2022-06-10 v2 计算机视觉与模式识别
摘要
向量量化变分自编码器（VQ-VAE）的一个显著问题是所学离散表示仅使用了码本全部容量的一部分，即所谓的码本崩溃。我们假设 VQ-VAE 涉及某些精心设计的启发式方法的训练方案是此问题的根源。本文提出一种新训练方案，通过新颖的随机去量化与量化扩展标准 VAE，称为随机量化变分自编码器（SQ-VAE）。在 SQ-VAE 中，我们观察到量化在训练初期为随机的、并逐渐收敛于确定性量化，我们称之为自退火。实验表明 SQ-VAE 无需使用常见启发式即可改善码本利用率。此外，我们经验性地展示 SQ-VAE 在视觉与语音相关任务上优于 VAE 和 VQ-VAE。
引用
@article{arxiv.2205.07547,
title = {SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization},
author = {Yuhta Takida and Takashi Shibuya and WeiHsiang Liao and Chieh-Hsin Lai and Junki Ohmura and Toshimitsu Uesaka and Naoki Murata and Shusuke Takahashi and Toshiyuki Kumakura and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2205.07547},
year = {2022}
}
备注
25 pages with 10 figures, accepted for publication in ICML 2022 (Our code is available at https://github.com/sony/sqvae)