谱卷积条件神经过程

Neural Processes (NPs) 是一种元学习模型，能够学习将观测集合映射到相应后验预测分布的近似。通过适应可变大小的非结构化观测集合并在任意查询点实现概率预测，NPs 为在连续域上对函数进行建模提供了一个灵活的框架。自其提出以来，出现了许多变体；然而，早期的表述共享一个基本局限：它们通过诸如均值池化等聚合操作将观测数据压缩为有限维全局表示。这种策略导致了与 NPs 旨在建模的随机过程的无限维性质之间的内在不匹配。卷积条件神经过程通过构建通过卷积神经网络处理以强制平移等变性的无限维函数嵌入来解决这一局限。然而，具有局部空间核的 CNN 在不诉诸于大型核的情况下难以捕捉长程依赖性，而大型核会带来巨大的计算成本。为了克服这一局限，我们提出了谱 ConvCNPs (SConvCNPs)，在频域中执行全局卷积。受用于学习偏微分方程解算子的 Fourier neural operators (FNOs) 启发，我们的方法直接在频域中参数化卷积核，利用许多自然信号相对紧凑但全局的傅里叶表示。我们在合成和真实世界数据集上验证了 SConvCNPs 的有效性，展示了算子学习的思想如何推进 NPs 的能力。