从变换器的信号与系统中我们可以学到什么：为概率建模与推断架构提供洞见

在20世纪40年代，韦恩引入了一种线性预测器，其中通过线性组合过去数据来计算未来预测。变换器对此进行了概括：它是一种非线性预测器，其中通过非线性组合过去标记来计算下一个标记的预测。在本文中，我们提出了一种概率模型，用于将变换器信号解释为条件测度的替代品，将层操作解释为固定点更新。对于概率模型为隐马尔可夫模型（HMM）的特殊情况，描述了该固定点更新的显式形式。本文部分旨在尝试将经典非线性滤波理论与现代推断架构桥接起来。