单层 Decoder-Only Transformer 等价于双层 RNN：及其在认证鲁棒性中的应用
计算与语言
2024-05-28 v1
摘要
本文揭示了一个关键洞察：单层 decoder-only Transformer 等价于两层循环神经网络 (RNN)。基于此洞察，我们提出了 ARC-Tran，一种用于验证 decoder-only Transformer 针对任意扰动空间鲁棒性的新方法。与 ARC-Tran 相比，当前的鲁棒性验证技术要么局限于词替换等特定且长度保持不变的扰动，要么局限于 LSTM 等递归模型。ARC-Tran 通过精心管理位置编码以防止错位，并利用我们的关键洞察实现了精确且可扩展的验证，从而解决了这些局限性。我们的评估表明，ARC-Tran (1) 训练出的模型针对任意扰动空间的鲁棒性优于现有技术生成的模型，并且 (2) 展示了所得模型的高认证准确率。
引用
@article{arxiv.2405.17361,
title = {A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness},
author = {Yuhao Zhang and Aws Albarghouthi and Loris D'Antoni},
journal= {arXiv preprint arXiv:2405.17361},
year = {2024}
}