复值相位相干 Transformer

复值 Transformer 在很大程度上继承了实值架构的 softmax 注意力机制。然而，行归一化的 token 竞争未必与保相计算保持一致。本文引入了相位相干 Transformer（Phase-Coherent Transformer, PCT），它将一个实值的、元素独立的、平滑的门控应用于 L2 归一化的复数查询-键相似度。PCT 用 token 非竞争注意力取代了 token 竞争，旨在跨层保留相位信息。在涵盖长程记忆、层次化长程推理、位置检索、基于相位的记忆与叠加以及图像分类的中等规模基准测试中，PCT 在各类任务上均展现出强大的泛化能力。在参数公平的比较中，PCT 始终优于标准的 softmax Transformer 及其直接的复值对应模型。此外，即使在传统上被认为对复值神经网络具有挑战性的任务上（如 NIAH 和 LRA-Text），PCT 依然能与 Multiscreen（我们比较中最强的实值神经网络基线）保持竞争力。引入故意违反 PCT 条件门控的实验表明，该设计并非偶然：保留负对齐相位分量的平滑门控依然强劲，而删除这些分量的门控在长程检索中会发生崩溃，输出变得过大的门控则会遭受明显的性能下降。PCT 在测试的深度范围内也未表现出与深度相关的准确率崩溃。这些结果支持将多层相位相干结构引入注意力机制，作为实现复值 Transformer 泛化的一种有前景的设计原则。