半参数诱导点网络与神经过程
机器学习
2023-03-31 v2
摘要
我们引入半参数诱导点网络（SPIN），一种能够以计算高效方式在推理时查询训练集的通用架构。半参数架构通常比参数模型更紧凑，但其计算复杂度常为二次的。相比之下，SPIN 通过受诱导点方法启发的、数据点之间的交叉注意力机制实现了线性复杂度。查询大型训练集在元学习中尤为有用，因为它释放了额外的训练信号，但常超出已有模型的扩展极限。我们以 SPIN 为基础构建诱导点神经过程，一种支持元学习中大上下文并在现有模型失效时达到高准确率的概率模型。在我们的实验中，SPIN 减少了内存需求，在一系列元学习任务上提升了准确率，并在一个重要实际问题——基因型填补上改进了当前最优性能。
引用
@article{arxiv.2205.11718,
title = {Semi-Parametric Inducing Point Networks and Neural Processes},
author = {Richa Rastogi and Yair Schiff and Alon Hacohen and Zhaozhi Li and Ian Lee and Yuntian Deng and Mert R. Sabuncu and Volodymyr Kuleshov},
journal= {arXiv preprint arXiv:2205.11718},
year = {2023}
}
备注
ICLR 2023 conference paper