通过常量内存注意力块实现内存高效的神经过程
机器学习
2024-05-28 v3 计算机视觉与模式识别
摘要
神经过程（NPs）是流行的元学习方法，用于高效建模预测不确定性。然而，近期最先进的方法利用了昂贵的注意力机制，限制了其应用，尤其在低资源场景中。本文中，我们提出常量内存注意力神经过程（CMANPs），一种仅需常量内存的 NP 变体。为此，我们首先提出一种用于交叉注意力的高效更新操作。利用该更新操作，我们提出常量内存注意力块（CMAB），一种新颖的注意力块，其（i）具有置换不变性，（ii）以常量内存计算其输出，且（iii）执行常量计算更新。最后，基于 CMAB，我们详述了常量内存注意力神经过程。经实验，我们表明 CMANPs 在流行 NP 基准上取得了最先进结果，同时比先前方法显著更内存高效。
引用
@article{arxiv.2305.14567,
title = {Memory Efficient Neural Processes via Constant Memory Attention Block},
author = {Leo Feng and Frederick Tung and Hossein Hajimirsadeghi and Yoshua Bengio and Mohamed Osama Ahmed},
journal= {arXiv preprint arXiv:2305.14567},
year = {2024}
}