基于 Transformer 神经过程的类情境类情境学习
机器学习
2024-06-21 v1 机器学习
摘要
神经过程(NPs)是一类强大的元学习模型，旨在从每个样本于数据集中抽取的真实随机过程逼近后验预测映射。在许多情况下，实践者除了可能获取感兴趣的数据集外，还可能获取与其相似的其他数据集。将这些数据集整合到 NP 中可提高预测效果。我们赋予 NP 了这一功能，并将这种范式描述为类情境类情境学习。标准 NP 架构，如卷积条件 NP(ConvCNP)或变压器神经过程(TNPs)族，无法实现类情境类情境学习，因为它们只能针对单个数据集进行条件化。我们通过开发类情境类情境学习伪标记 TNP(ICICL-TNP)来解决这一不足。ICICL-TNP 基于伪标记 TNP 族，这类模型利用伪标记基于变压器的架构规避常规变压器架构呈二次计算复杂度的限制。重要的是，ICICL-TNP 能够对数据点集合和数据集集合进行条件化，从而实现类情境类情境学习。我们在多个实验中展示了类情境类情境学习的重要性和 ICICL-TNP 的有效性。
引用
@article{arxiv.2406.13493,
title = {In-Context In-Context Learning with Transformer Neural Processes},
author = {Matthew Ashman and Cristiana Diaconu and Adrian Weller and Richard E. Turner},
journal= {arXiv preprint arXiv:2406.13493},
year = {2024}
}