变分正交特征

稀疏随机变分推断使得高斯过程模型可应用于大型数据集。该方法推断的每次迭代计算成本为 $\mathcal{O}(\tilde{N}M^2+M^3)$，其中 $\tilde{N}$ 是小批次中的点数，$M$ 是“诱导特征”的数量，其决定了变分族的表示能力。近期的若干工作表明，对于某些先验，可定义移除计算小批次证据下界（ELBO）估计的 $\mathcal{O}(M^3)$ 成本的特征。当 $M\gg \tilde{N}$ 时，这代表了显著的计算节省。我们提出了对任意平稳先验核的特征构造，允许使用 $T$ 个蒙特卡洛样本在 $\mathcal{O}(\tilde{N}T+M^2T)$ 内计算 ELBO 的无偏估计量，并在附加近似下于 $\mathcal{O}(\tilde{N}T+MT)$ 内计算。我们分析了该附加近似对推断质量的影响。