Transformer 的置换等变及其 applications

基于 Transformer 的模型革新了深度学习领域，并在许多任务中取得了卓越性能。近期研究已认识到这些模型对乱序具有鲁棒性，但仅限于前向传播中的 token 间置换。在本文中，我们提出置换等变的定义，这是一个更宽泛的概念，涵盖神经网络前向与反向传播中的 token 间与 token 内置换。我们严格证明了这种置换等变性质可在几乎无需改动的情况下被大多数原始基于 Transformer 的模型所满足。我们在一系列最先进模型（包括 ViT、Bert、GPT 及其他）上检验了该性质，并给出了实验验证。此外，作为概念验证，我们探索了包括隐私增强的拆分学习以及模型授权在内的真实世界应用如何利用置换等变性质，这意味着更广泛而有趣的应用场景。