Transformer 更鲁棒吗？面向 Transformer 的精确鲁棒性验证
机器学习
2024-12-03 v4 人工智能
摘要
作为一种新兴类型的神经网络（NNs），Transformer 被用于从自然语言处理到自动驾驶的诸多领域。在本文中，我们研究 Transformer 的鲁棒性问题，这是一项关键特性，因为低鲁棒性可能引发安全担忧。具体而言，我们聚焦于基于 Sparsemax 的 Transformer，并将其最大鲁棒性的求解归约为一个混合整数二次约束规划（MIQCP）问题。我们还设计了两种可嵌入 MIQCP 编码并大幅加速其求解的预处理启发式方法。随后，我们利用车道偏离预警这一应用进行实验，比较基于 Sparsemax 的 Transformer 与更传统的多层感知机（MLP）神经网络的鲁棒性。令我们惊讶的是，Transformer 未必更鲁棒，这引发了在安全攸关领域应用中选取适当神经网络架构的深刻考量。
引用
@article{arxiv.2202.03932,
title = {Are Transformers More Robust? Towards Exact Robustness Verification for Transformers},
author = {Brian Hsuan-Cheng Liao and Chih-Hong Cheng and Hasan Esen and Alois Knoll},
journal= {arXiv preprint arXiv:2202.03932},
year = {2024}
}
备注
Accepted at SafeComp 2023, 14 pages (Springer LNCS format), 3 figures, 2 tables, 2 algorithms