具有随机注意力的神经过程：更关注上下文数据集
机器学习
2022-04-13 v1 人工智能
摘要
神经过程（NPs）旨在基于给定的上下文数据集对未观测数据点进行随机补全。NPs 本质上利用给定数据集作为上下文表示，以推导出新任务的合适标识符。为提高预测精度，许多 NP 变体研究了上下文嵌入方法，通常设计满足置换不变性的新型网络架构与聚合函数。本工作中，我们提出一种用于 NPs 的随机注意力机制，以捕获恰当的上下文信息。从信息论视角，我们证明所提方法促使上下文嵌入与目标数据集相区分，使 NPs 能独立地考虑目标数据集中的特征与上下文嵌入。我们观察到，即使在噪声数据集与受限任务分布下（典型 NPs 受困于上下文嵌入不足），所提方法也能恰当地捕获上下文嵌入。我们通过一维回归、捕食者-猎物模型与图像补全，实证表明我们的方法在各领域中大幅优于常规 NPs。此外，所提方法还通过真实世界问题 MovieLens-10k 数据集得到验证。
引用
@article{arxiv.2204.05449,
title = {Neural Processes with Stochastic Attention: Paying more attention to the context dataset},
author = {Mingyu Kim and Kyeongryeol Go and Se-Young Yun},
journal= {arXiv preprint arXiv:2204.05449},
year = {2022}
}
备注
Published at ICLR2022; Presented at 5th workshop on Meta-Learning at NeurIPS2021