可扩展时空推理的偏置扫描注意力变换神经过程
机器学习
2026-04-28 v3 机器学习
摘要
神经过程（Neural Processes, NPs）是一类快速发展、旨在直接建模随机过程后验预测分布的模型。虽然早期架构主要作为高斯过程（Gaussian Processes, GPs）的可扩展替代方案而开发，但现代 NPs 应对了涵盖地质学、流行病学、气候和机器人学等领域的更复杂和数据密集型应用。这些应用对这些模型的可扩展性施加了越来越大的压力，许多架构在可扩展性与准确性之间做出了妥协。在本文中，我们证明了这种权衡通常是不必要的，特别是在建模完全或部分平移不变过程时。我们提出了一种通用新架构——偏置扫描注意力变换神经过程（BSA-TNP），引入了核回归块（KRBlocks）、群不变注意力偏置和内存高效的偏置扫描注意力（BSA）。BSA-TNP 能够：(1) 在许多情况下以训练时间的一小部分匹配或超越最佳模型的准确性，(2) 展现平移不变性，支持在多个分辨率同时学习，(3) 透明地建模在空间和时间上同时演化的过程，(4) 支持高维固定效应，(5) 优雅扩展，在单个 24GB GPU 上不到一分钟内对超过 100 万个测试点和 10 万个上下文点运行推理。代码作为 `dl4bi` 软件包的一部分提供。
引用
@article{arxiv.2506.09163,
title = {Scalable Spatiotemporal Inference with Biased Scan Attention Transformer Neural Processes},
author = {Daniel Jenson and Jhonathan Navott and Piotr Grynfelder and Mengyan Zhang and Makkunda Sharma and Elizaveta Semenova and Seth Flaxman},
journal= {arXiv preprint arXiv:2506.09163},
year = {2026}
}