面向概率表示学习的神经随机注意力电路 (NSAC)
机器学习
2026-05-26 v1 人工智能
摘要
可靠的量化连续时间(CT)表示学习中的不确定性估计仍处于初级阶段，尤其是在CT注意力架构中。我们引入了神经随机注意力电路 (NSAC)，这是一种新型的生物学启发的CT注意力架构，将注意力logit计算重新表述为解来自输入依赖的、非线性相互链接门控所调制的Ornstein-Uhlenbeck随机微分方程。它在logits上诱导高斯分布，将这种原则性随机性通过logistic-正态分布传递到注意力权重，从而产生概率性输出。一个由两个部分组成的目标函数，将高斯负对数似然与一个认知分离正则化器结合，强制更高的预测方差，使其能够联合量化认知不确定性和偶然不确定性。我们在 diverse set of learning tasks中实现了NSAC，包括：(i)不规则CT函数逼近；(ii)多变量回归；(iii)长期预测；(iv)工业4.0；和(v)自动驾驶车辆的车道保持。我们观察到，NSAC在准确率和 producing reasonably well-calibrated 不确定性估计方面与several baselines 保持竞争力，同时在神经元细胞水平上具有可解释性。
引用
@article{arxiv.2605.26061,
title = {Neuronal Stochastic Attention Circuit (NSAC) for Probabilistic Representation Learning},
author = {Waleed Razzaq and Yun-Bo Zhao},
journal= {arXiv preprint arXiv:2605.26061},
year = {2026}
}