基于聚合分类后验的高斯混合向量量化
机器学习
2024-10-15 v1 机器学习
摘要
向量量化是将连续表示映射到离散空间的常用方法，在生成式模式的分词、瓶颈信息以及许多其他机器学习任务中具有重要应用。向量量化变分自编码器(VQ-VAE)是一种使用离散嵌入作为潜在变量的变分自编码器类型。我们进一步推广了该技术，丰富了基于高斯混合的概率框架。该框架利用潜在均值和自适应方差的 codebook 来捕捉复杂的数据分布。该方法原则化的框架避免了VAE-VQ所需的各种启发式方法和强假设，以解决训练不稳定性并提高 codebook 的利用率。该方法将离散表示和连续表示的优势整合到变分贝叶斯框架中。此外，通过引入聚合分类后验证据下限(ALBO)，我们提供了一种原则化的替代优化目标，将变分分布与生成模型对齐。我们的实验表明，GM-VQ在不依赖手工启发式方法的情况下提高了 codebook 的利用率并减少了信息损失。
关键词
引用
@article{arxiv.2410.10180,
title = {Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior},
author = {Mingyuan Yan and Jiawei Wu and Rushi Shah and Dianbo Liu},
journal= {arXiv preprint arXiv:2410.10180},
year = {2024}
}