Transformer 神经过程：通过序列建模实现不确定性感知元学习
机器学习
2023-02-09 v2 人工智能
摘要
神经过程 (NPs) 是一类流行的元学习方法。类似于高斯过程 (GPs)，NPs 定义函数上的分布并能估计预测中的不确定性。然而，与 GPs 不同，NPs 及其变体存在欠拟合问题且常具有难处理的似然，这限制了它们在序列决策中的应用。我们提出 Transformer 神经过程 (TNPs)，NP 家族的新成员，将不确定性感知元学习视为序列建模问题。我们通过基于自回归似然的目标学习 TNPs，并用一种新颖的基于 transformer 的架构实例化它。该模型架构尊重问题结构固有的归纳偏置，例如对观测数据点的不变性与对未观测点的等变性。我们进一步探究 TNP 框架内权衡解码分布表达力与额外计算的调节旋钮。经验上，我们展示 TNPs 在各种基准问题上达到最先进性能，在元回归、图像补全、上下文多臂老虎机与贝叶斯优化上优于所有先前的 NP 变体。
引用
@article{arxiv.2207.04179,
title = {Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling},
author = {Tung Nguyen and Aditya Grover},
journal= {arXiv preprint arXiv:2207.04179},
year = {2023}
}
备注
International Conference on Machine Learning 2022