中文

对比条件神经过程

机器学习 2022-03-28 v2 机器学习

摘要

条件神经过程(CNPs)将神经网络与概率推断桥接,在元学习设定下逼近随机过程的函数。给定一批非独立同分布(非-i.i.d)函数实例,CNPs在生成式重构流水线中联合优化实例内观测预测与跨实例元表示适配。当函数观测分布扩展至高维噪声空间时,将这两类目标绑在一起可能存在挑战。相反,噪声对比估计或可通过学习分布匹配目标提供更鲁棒表示,以克服生成式模型此类固有局限。有鉴于此,我们提出为CNPs配备:1)预测与编码真值观测对齐,及2)将元表示适配从生成式重构解耦。具体而言,分层设立两个辅助对比分支,即实例内时间对比学习({\tt TCL})与跨实例函数对比学习({\tt FCL}),分别促进局部预测对齐与全局函数一致性。我们经实验表明,{\tt TCL}捕获观测的高层抽象,而{\tt FCL}助益辨识底层函数,进而提供更高效表示。在评估1D、2D及高维时间序列的函数分布重构与参数辨识时,我们的模型优于其他CNP变体。

关键词

引用

@article{arxiv.2203.03978,
  title  = {Contrastive Conditional Neural Processes},
  author = {Zesheng Ye and Lina Yao},
  journal= {arXiv preprint arXiv:2203.03978},
  year   = {2022}
}

备注

accepted to CVPR2022