p-Laplacian Transformer

$p$-Laplacian 正则化根植于图与图像信号处理，引入参数 $p$ 以控制对这些数据的正则化效应。较小的 $p$ 值促进稀疏性与可解释性，而较大的 $p$ 值鼓励更平滑的解。在本文中，我们首先表明自注意力机制获得了极小拉普拉斯正则化（$p=2$）并在架构中鼓励平滑性。然而，平滑性并不适用于 transformer 中自注意力的异配结构，其中对邻近与非邻近 token 之间的注意力权重被无差别地分配。基于该洞见，我们进而提出一类新型 transformer，即 $p$-Laplacian Transformer (p-LaT)，其利用 $p$-Laplacian 正则化框架来驾驭自注意力层内的异配特征。特别地，低 $p$ 值将有效地为与当前正处理 token 邻近的 token 分配更高的注意力权重。我们在广泛基准数据集上实证展示了 p-LaT 相对于基线 transformer 的优势。