高维变分推断中的挑战与机遇

当前的黑盒变分推断（BBVI）方法要求用户做出大量设计选择——例如变分目标与近似族的选择——然而对于如何做出这些选择却缺乏原则性指导。我们开发了一个概念框架和一组实验工具来理解这些选择的影响，并借此提出最大化后验近似精度的最佳实践。我们的方法基于研究联合分布与变分近似之间密度比的前渐近尾部行为，然后利用重要性采样文献中的见解与工具。我们的框架与支撑实验有助于区分 BBVI 方法在近似低维与中高维后验时的行为。在后一种情况下，我们表明质量覆盖型变分目标难以优化且不能提高精度，但灵活的变分族可以提高精度以及重要性采样的有效性——代价是额外的优化挑战。因此，对于中高维后验，我们推荐使用（寻求模式的）排他 KL 散度，因为它最易于优化，并改进变分族或使用模型参数变换以使后验与最优变分近似更为相似。另一方面，在低维设定下，我们表明重尾变分族与质量覆盖型散度是有效的，并且可以增加通过重要性采样改进近似的机会。