贝叶斯计算中边缘化离散参数效率的探究

贝叶斯分析方法通常使用某种形式的迭代模拟，例如蒙特卡洛计算。涉及离散变量的模型有时会构成挑战，要么因为所用方法不支持此类变量（例如哈密顿蒙特卡洛），要么因为此类变量的存在会减慢计算速度。一种常见的变通方法是把离散变量从模型中边缘化出去。尽管有理由预期这种边缘化也会带来更高时间效率的计算，但据我们所知，除少数专门模型外尚未得到证实。我们探究了边缘化对几个简单统计模型计算效率的影响。具体而言，我们考虑了双组分和三组分高斯混合模型，以及用于分类评分的 Dawid-Skene 模型。我们使用马尔可夫链蒙特卡洛技术的两种软件实现（JAGS 和 Stan）分别探究。我们在同一软件上用采样器直接比较了同一模型的边缘化与非边缘化版本。我们的结果表明，边缘化本身并不必然会提升性能。尽管如此，最佳性能通常通过要求边缘化的 Stan 实现。我们得出结论：边缘化是否有帮助并无简单答案。当开启该技术时，并不能保证其提供独立于其他因素的计算收益，它也不大可能是对计算效率影响最大的模型组件。