通过闭式变分推断组合非共轰因子图
机器学习
2026-05-29 v1 人工智能
摘要
将概率构建模块堆叠成更深层的架构通常会破坏闭式推断。我们展示了可以保持闭式推断。我们识别出五种因子图原语：双线性因子、指数链接、Gamma 先验、Gaussian 似然以及等值节点，并证明任何由它们组成的模型都允许闭式变分信道传递。这种构建之所以有效，是因为每个原语都保留了一小组消息家族：在均值场分解下，针对 Gaussian 变量的消息保持 Gaussian，针对 precision 变量的消息保持 Gamma，而唯一的非共轰接口——指数链接——通过 Gaussian 矩生成函数和 Gamma 族的充分统计量保持可计算性。我们演示了从静态集束 through input-dependent 门控到 split-branch 路由的组合深度，从而表明堆叠路由层编码任意决策树，实现闭式推断下的通用函数逼近。应用于 ensemble 时间序列预测，该框架产生一个贝叶斯专家混合模型，其中门控函数被推断而非学习，提供了对 expert selection across five benchmark datasets 的校准不确定性。
引用
@article{arxiv.2605.29467,
title = {Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference},
author = {Mykola Lukashchuk and Kyrylo Yemets and Wouter M. Kouw and Dmitry Bagaev and İsmail Şenöz and Jeff Beck and Bert de Vries},
journal= {arXiv preprint arXiv:2605.29467},
year = {2026}
}