用于摊销变分推断的实例自适应参数化
机器学习
2026-04-21 v2 人工智能
摘要
变分自编码器（VAE）依赖摊销变分推断来实现高效的后验近似，但这种效率以共享参数化为代价，从而产生了摊销差距。我们提出了实例自适应变分自编码器（IA-VAE），一种摊销推断框架，其中超网络生成共享编码器的输入依赖调制。这使得推断模型能够进行输入特定适应，同时保持单次前向传播的效率。从理论角度来看，我们证明 IA-VAE 诱导的变分族包含了标准摊销推断的变分族，这意味着 IA-VAE 不会产生更差的最优 ELBO。通过利用实例特定的参数调制，所提出的方法可以在使用显著更少的参数的情况下达到与标准编码器相当的性能，表明对模型容量的更高效利用。在真实后验已知的合成数据上的实验表明，IA-VAE 产生了更准确的后验近似并减小了摊销差距。同样，在标准图像基准上，IA-VAE 一致地改进了基线 VAE 的保留 ELBO，在多次运行中具有统计显著的增益。这些结果表明，通过实例自适应调制增加推断参数化的灵活性是缓解深度生成模型中摊销诱导次优性的有效策略。
引用
@article{arxiv.2604.06796,
title = {Instance-Adaptive Parametrization for Amortized Variational Inference},
author = {Andrea Pollastro and Andrea Apicella and Francesco Isgrò and Roberto Prevete},
journal= {arXiv preprint arXiv:2604.06796},
year = {2026}
}