向量量化 Wasserstein 自编码器
机器学习
2023-06-21 v2
摘要
学习深度离散潜在表示有望提供更好的符号化与概括性抽象，从而对后续下游任务更有助益。受开创性的向量量化变分自编码器（VQ-VAE）启发，多数关于深度离散表示学习的工作主要集中于改进原始 VQ-VAE 形式，尚无研究从生成视角学习深度离散表示。本工作中，我们从生成视角研究深度离散表示学习。具体而言，我们赋予码字序列上的离散分布，并学习一个确定性解码器，通过最小化它们之间的 WS 距离将码字序列上的分布传输至数据分布。我们进一步建立理论将其与 WS 距离的聚类视角相联系，从而让我们获得更好且更可控的聚类解。最后，我们在若干知名基准上实证评估了我们的方法，在码本利用率及图像重建/生成方面取得了优于其他 VQ-VAE 变体的定性与定量性能。
引用
@article{arxiv.2302.05917,
title = {Vector Quantized Wasserstein Auto-Encoder},
author = {Tung-Long Vuong and Trung Le and He Zhao and Chuanxia Zheng and Mehrtash Harandi and Jianfei Cai and Dinh Phung},
journal= {arXiv preprint arXiv:2302.05917},
year = {2023}
}