全局卷积神经过程
机器学习
2021-09-03 v1
摘要
在机器学习模型中处理不确定性的能力，即便不比预测能力本身更关键，也已同等重要。例如，在疫情期间，政府政策与个人决策不断围绕不确定性做出。为此，神经过程族（NPFs）近期通过桥接高斯过程与神经网络，在带不确定性的预测上带来曙光。潜神经过程作为 NPF 的一员，被认为能够建模特定点上的不确定性（局部不确定性）以及一般函数先验（全局不确定性）。然而，一些关键问题仍未解决，例如全局不确定性的形式化定义、全局不确定性背后的因果性，以及为生成模型操控全局不确定性。对此，我们构建了成员 GloBal Convolutional Neural Process（GBCoNP），在潜 NPF 中取得 SOTA 对数似然。其设计了全局不确定性表示 p(z)，为离散输入空间上的聚合。讨论了全局不确定性程度与任务内多样性之间的因果效应。在多种场景上分析了所学先验，包括 1D、2D 及一个新提出的时空 COVID 数据集。我们对全局不确定性的操控不仅实现了生成所需样本以应对少样本学习，也支持对函数先验的概率评估。
引用
@article{arxiv.2109.00691,
title = {Global Convolutional Neural Processes},
author = {Xuesong Wang and Lina Yao and Xianzhi Wang and Hye-young Paik and Sen Wang},
journal= {arXiv preprint arXiv:2109.00691},
year = {2021}
}