Preisach 注意力：序列记忆的滞后模型

我们提出了 Preisach 注意力层（Preisach Attention Layer, PAL），这是一种基于数学物理中经典 Preisach 滞后算子（hysteresis operator）的新型序列建模架构。PAL 用由学习的激活和去激活阈值参数化的二进制中继器取代 softmax 注意力机制，维护一个局部极值栈作为内部状态。在任意精度算术下，单层 PAL-Transformer 的深度为 O(1) 且图灵完备，这通过模拟两个栈的下推自动机实现——与标准硬注意力变压器需要 O(log n) 深度不同。其次，我们证明 PAL 和变压器可计算的函数类不可比：PAL 在 O(1) 层中计算历史范围统计，这需要变压器 O(log n) 层才能实现；而变压器支持无索引检索，PAL 在无辅助状态下无法实现。分离性质是速率无关性——PAL 只响应局部极值的序列，而不响应绝对 token 位置或时间间隔。其次，我们表明，极值栈是所有速率无关函数输入历史的最小充分统计量，为滞后理论中的擦除性质（wiping property）提供了形式化类比。因此，PAL 是一种适用于长期情景记忆和弱位置依赖任务的高效架构，其推理总成本为 O(n log n)，而标准注意力为 O(n^2)。