影响引导的 Transformer 鲁棒性混合符号执行测试
软件工程
2025-09-30 v1 机器学习
摘要
深度神经网络的混合符号执行测试交替进行具体执行与约束求解，以搜索能够翻转决策的输入。我们提出了一种影响引导的混合符号执行测试器，用于 Transformer 分类器，该测试器根据基于 SHAP 的模型输出影响估计对路径谓词进行排序。为了使 SMT 求解器适用于现代架构，我们原型化了一种兼容求解器的、纯 Python 语义用于多头自注意力，并引入了实用的调度启发式方法以抑制深层模型上的约束增长。在针对紧凑 Transformer 的小 L0 预算的白箱研究中，影响引导比 FIFO 基线更高效地找到标签翻转输入，并在深层网络上保持稳定进展。将成功攻击实例聚合起来进行基于 SHAP 的关键决策路径分析，揭示了跨攻击共享的重复性、紧凑的决策逻辑。这些观察表明：(i) 影响信号为符号探索提供了有用的搜索偏置，(ii) 兼容求解器的注意力语义配合轻量级调度使混合符号执行测试适用于当代 Transformer 模型，为调试和模型审计提供了潜在效用。
引用
@article{arxiv.2509.23806,
title = {Influence-Guided Concolic Testing of Transformer Robustness},
author = {Chih-Duo Hong and Yu Wang and Yao-Chen Chang and Fang Yu},
journal= {arXiv preprint arXiv:2509.23806},
year = {2025}
}