神经元注意力电路（NAC）用于表征学习

注意力机制相较于 RNN 改进了表征学习，但其离散特性限制了连续时间（CT）建模。我们提出了神经元注意力电路（Neuronal Attention Circuit, NAC），一种新颖的、生物学启发的 CT 注意力机制，将注意力逻辑计算重新表述为线性一阶常微分方程的解，其非线性互连门源自对 C. elegans 神经元电路策略（NCP）连线的复用。NAC 用稀疏感知门替代密集投影用于键-查询投影，并用具有两个头的稀疏骨干网络计算内容-目标门和可学习时间常数门，从而实现高效的自适应动力学。为提高效率和降低内存消耗，我们实现了一个可调节的次二次稀疏 Top-K 成对拼接机制，选择性地筛选键-查询交互。我们提供了严格的理论保证，包括状态稳定性和有界逼近误差。在经验上，我们在多个领域实现了 NAC，包括不规则时间序列分类、自动驾驶车道保持和工业预测。我们观察到，NAC 在准确率上与竞争基线相当或更优，在运行时间和内存消耗方面处于几种 CT 最先进基线的中间位置，同时在神经元细胞层面具有可解释性。