通过高斯VAE实现无需训练的向量量化
机器学习
2026-05-27 v3 计算机视觉与模式识别
摘要
向量量化变分自编码器（VQ-VAE）是将图像压缩为离散令牌的离散自编码器。然而，由于离散化，它们难以训练。在本文中，我们提出了一种简单而有效的技术，称为高斯量化（GQ），它首先在特定约束下训练高斯 VAE，然后将其转换为 VQ-VAE 而无需额外训练。对于转换，GQ 生成随机高斯噪声作为码本，并找到最接近后验均值的噪声向量。理论上，我们证明当码本大小的对数超过高斯 VAE 的回溯编码率时，可保证较小的量化误差。实际上，我们提出了一种训练高斯 VAE 以实现有效转换的启发式方法，称为目标散度约束（TDC）。经验上，我们证明 GQ 在 UNet 和 ViT 架构上优于先前的 VQ-VAE，如 VQGAN、FSQ、LFQ 和 BSQ。此外，TDC 也改进了先前的高斯 VAE 离散化方法，如 TokenBridge。源代码发布于 https://github.com/tongdaxu/VQ-VAE-from-Gaussian-VAE。
引用
@article{arxiv.2512.06609,
title = {Training-Free Vector Quantization via Gaussian VAEs},
author = {Tongda Xu and Wendi Zheng and Jiajun He and Jose Miguel Hernandez-Lobato and Yan Wang and Ya-Qin Zhang and Jie Tang},
journal= {arXiv preprint arXiv:2512.06609},
year = {2026}
}