从 VQ-VAE 中蒸馏易处理模型
机器学习
2025-09-03 v1
摘要
具有离散潜空间的深度生成模型，例如向量量化变分自编码器（VQ-VAE），提供了出色的数据生成能力，但由于其潜空间规模庞大，其概率推断被认为是难以处理的。我们证明，通过选择具有高概率的潜变量子集，可以将 VQ-VAE 蒸馏为一个易处理模型。这种简单的策略特别高效，尤其是当 VQ-VAE 未充分利用其潜空间时，而这种情况确实非常普遍。我们将蒸馏后的模型构建为概率电路，并表明它在提供易处理的概率推断的同时，保留了 VQ-VAE 的表达能力。实验表明，该模型在密度估计和条件生成任务中表现出极具竞争力的性能，从而挑战了将 VQ-VAE 视为本质上难以处理模型的观点。
引用
@article{arxiv.2509.01400,
title = {Distillation of a tractable model from the VQ-VAE},
author = {Armin Hadžić and Milan Papez and Tomáš Pevný},
journal= {arXiv preprint arXiv:2509.01400},
year = {2025}
}