通过可处理的依赖预测实现实用条件神经过程
机器学习
2022-06-14 v2 机器学习
摘要
条件神经过程（CNPs；Garnelo 等人，2018a）是一类元学习模型，其利用深度学习的灵活性产生良好校准的预测，并自然处理非网格化与缺失数据。CNPs 可扩展至大型数据集且易于训练。由于这些特性，CNPs 看似非常适用于环境科学或医疗健康中的任务。遗憾的是，CNPs 不产生相关预测，使其在根本上不适用于许多估计与决策任务。例如，预测热浪或洪水需要对温度或降水在时间与空间上的依赖关系进行建模。现有对输出依赖建模的方法，如神经过程（NPs；Garnelo 等人，2018b）或 FullConvGNP（Bruinsma 等人，2021），要么训练复杂，要么计算代价过高。我们需要的是一种能提供依赖预测，但训练简单且计算可处理的方法。本工作中，我们提出一类新的神经过程模型，其产生相关预测并支持简单可扩展的精确最大似然训练。我们通过使用可逆输出变换扩展所提模型，以捕捉非高斯输出分布。我们的模型可用于需要依赖函数样本的下游估计任务。通过考虑输出依赖，我们的模型在一系列合成与真实数据实验中展现出改进的预测性能。
引用
@article{arxiv.2203.08775,
title = {Practical Conditional Neural Processes Via Tractable Dependent Predictions},
author = {Stratis Markou and James Requeima and Wessel P. Bruinsma and Anna Vaughan and Richard E. Turner},
journal= {arXiv preprint arXiv:2203.08775},
year = {2022}
}
备注
23 pages; accepted to the 10th International Conference on Learning Representations (ICLR 2022)