潜在瓶颈化注意力神经过程
机器学习
2023-03-03 v3 人工智能
摘要
神经过程(NPs)是元学习中流行的方法,可通过以上下文数据集为条件来估计目标数据点的预测不确定性。先前最先进的方法Transformer神经过程(TNPs)取得了强劲性能,但其计算量随上下文数据点数量呈二次增长,严重限制了可扩展性。相反,现有的亚二次NP变体性能明显逊于TNPs。针对该问题,我们提出了潜在瓶颈化注意力神经过程(LBANPs),一种计算高效的亚二次NP变体,其查询计算复杂度与上下文数据点数量无关。该模型将上下文数据集编码为固定数量的潜在向量,并在其上执行自注意力。在进行预测时,模型通过潜在向量上的多重交叉注意力机制从上下文数据集中检索高阶信息。我们通过实验表明,LBANPs在元回归、图像补全和上下文多臂老虎机任务上取得了与最先进方法相竞争的结果。我们展示了LBANPs可根据潜在向量数量权衡计算成本与性能。最后,我们表明LBANPs可扩展到比现有基于注意力的NP变体更大的数据集设置。
引用
@article{arxiv.2211.08458,
title = {Latent Bottlenecked Attentive Neural Processes},
author = {Leo Feng and Hossein Hajimirsadeghi and Yoshua Bengio and Mohamed Osama Ahmed},
journal= {arXiv preprint arXiv:2211.08458},
year = {2023}
}