用于鲁棒变分推断的自适应异构正则流混合模型
机器学习
2025-10-03 v1 机器学习
摘要
正则流变分推断 (VI) 能够逼近复杂的后验分布，然而单流模型在性质不同的分布上往往表现不一致。我们提出了自适应混合流变分推断 (AMF-VI)，这是一种由互补流（MAF、RealNVP、RBIG）构成的异构混合模型，分两阶段进行训练： 个体流的序贯专家训练； 通过似然驱动的更新进行自适应全局权重估计，无需逐样本门控或架构更改。在六种典型后验族（香蕉型、X 型、双月型、圆环型、双峰型及五峰混合型）上的评估表明，AMF-VI 取得的负对数似然始终低于每个单流基线，并在传输度量（Wasserstein-2）和最大均值差异 (MDD) 上带来稳定的提升，表明其在不同形状和模态上具有更好的鲁棒性。该过程高效且与架构无关，相对于标准流训练仅产生极小的额外开销，并证明了多样流的自适应混合为在保持各专家归纳偏置的同时实现跨多样后验族的鲁棒 VI 提供了可靠途径。
引用
@article{arxiv.2510.02056,
title = {Adaptive Heterogeneous Mixtures of Normalising Flows for Robust Variational Inference},
author = {Benjamin Wiriyapong and Oktay Karakuş and Kirill Sidorov},
journal= {arXiv preprint arXiv:2510.02056},
year = {2025}
}
备注
2 Figures and 2 tables