向量量化中嵌入数量与维度之间的平衡
机器学习
2024-07-09 v1 计算机视觉与模式识别
摘要
嵌入维度和可用嵌入数量（也称为词表大小）是影响向量量化 (Vector Quantization, VQ) 性能的关键因素，VQ 是许多模型（如 Vector Quantized Variational Autoencoder, VQ-VAE）中使用的离散化过程。本研究考量了在保持其乘积不变的情况下，词表大小与嵌入维度之间的平衡。传统上，这些超参数在训练期间保持不变；然而，我们的发现表明，同时增大词表大小和减小嵌入维度可显著提升 VQ-VAE 的效果。因此，在保持离散词表空间容量不变的前提下，合理选择词表大小和嵌入维度至关重要。为此，我们提出一种新型自适应动态量化方法，基于 Gumbel-Softmax 机制，使模型能够自主确定每个数据实例的最优词表配置。这种动态离散器赋予 VQ-VAE 极大的灵活性。广泛的实证评估跨越多个基准数据集，验证了本方法实现显著性能提升的显著潜力，凸显了自适应动态量化在改进模型性能方面的重要潜力。
关键词
引用
@article{arxiv.2407.04939,
title = {Balance of Number of Embedding and their Dimensions in Vector Quantization},
author = {Hang Chen and Sankepally Sainath Reddy and Ziwei Chen and Dianbo Liu},
journal= {arXiv preprint arXiv:2407.04939},
year = {2024}
}