木马化 BERT 中注意力异常的研究

Weimin Lyu; Songzhu Zheng; Tengfei Ma; Chao Chen

木马化 BERT 中注意力异常的研究

密码学与安全 2022-07-05 v2 人工智能机器学习

作者: Weimin Lyu , Songzhu Zheng , Tengfei Ma , Chao Chen

摘要

木马攻击引发了严重的安全担忧。在本文中，我们研究了木马化 BERT 模型的底层机制。我们观察到木马化模型的注意力焦点漂移行为，即当遇到被污染输入时，触发词会无视上下文劫持注意力焦点。我们对这一现象进行了详尽的定性和定量分析，揭示了有关木马机制的见解。基于这一观察，我们提出了一种基于注意力的木马检测器，用以区分木马化模型与干净模型。据我们所知，这是首篇分析木马机制并基于 Transformer 的注意力开发木马检测器的论文。

关键词

木马攻击 BERT 注意力机制注意力焦点漂移木马检测器 Transformer

引用

@article{arxiv.2205.08305,
  title  = {A Study of the Attention Abnormality in Trojaned BERTs},
  author = {Weimin Lyu and Songzhu Zheng and Tengfei Ma and Chao Chen},
  journal= {arXiv preprint arXiv:2205.08305},
  year   = {2022}
}

备注

NAACL-HLT 2022

木马化 BERT 中注意力异常的研究

摘要

关键词

引用

备注

相关论文