使用神经过程高斯过程推断的三个代价

神经过程对高斯过程推断进行 amortization，将精确的 $O(n^3)$ 后验替换为从上下文集合到预测分布的学习 $O(n)$ 映射。对于一类潜在神经过程，我们对 GP 与 LNP 预测之间的 KL 发散进行上界，分解为三个可解释的来源，即标签污染（神经过程使用标签值来估计在精确 GP 中与标签无关的量），信息瓶颈（有限维的表示无法解析完整的上下文几何），以及来自跨所有上下文共享的单个编码器网络的 amortization 误差。瓶颈截断项在表示维数 $d$ 随着 $O(e^{-cd^{2/d_x}})$ 衰减，适用于 $\mathbb{R}^{d_x}$ 上平方指数核，其中 $c > 0$ 为核函数相关常数；对于 Mat\'ern-$\nu$ 核则为 $O(d^{-2\nu/d_x})$，直接将架构规模与核函数平滑度和输入维度关联。标签污染项在一般情况下为 $O(1)$，只有观察噪声分量随 $O(1/n)$ 衰减，标识了通过标签依赖表示路由不确定性估计的持久代价。这些结果刻画了分析类中 amortization 的代价，并给出架构建议，从上下文位置alone 预测方差，以 GP-amortization regime 中预测方差，并用二阶池化替换均值聚合以弥补主导的 amortization 间隙。