神经过程表示容量的特征

Robin Young

神经过程表示容量的特征

机器学习 2026-05-26 v1 机器学习

作者: Robin Young

摘要

神经过程能表示什么函数？我们分析了流行 NP 架构的表示容量：条件神经过程（CNPs）、注意力神经过程（ANPs）、Transformer 神经过程（TNPs）以及它们的隐变体。我们证明这些架构形成严格的层次结构。CNP 可表示的函数恰好是依赖于上下文分布中有限多个期望特征的函数。ANPs 通过查询依赖性重新加权，严格扩展 CNPs，使其能够实现核平滑器。ConvCNPs 和 ANPs 不可比较；每个都包含对方之外的函数，由平稳性与平移等价性分隔。TNPs 在具有 $L$ 自注意力层的情况下捕获 $L$ 跳远的上下文相互作用。对于隐变 NP，我们显示有限维的隐变量提供了一致的抽样，但不绕过编码器限制；匹配 GP 后验分布需要隐变量维度随上下文大小而扩展。这些结果为基于任务结构进行架构选择提供了理论基础。

关键词

神经过程表示容量条件神经过程注意力神经过程 Transformer 神经过程

引用

@article{arxiv.2605.24210,
  title  = {Characterizing the Representational Capacity of Neural Processes},
  author = {Robin Young},
  journal= {arXiv preprint arXiv:2605.24210},
  year   = {2026}
}

备注

To appear at ProbML/AABI 2026

神经过程表示容量的特征

摘要

关键词

引用

备注

相关论文