利用注意力关系图蒸馏消除深度神经网络中的后门触发器
机器学习
2022-04-26 v2
摘要
随着人工智能（AI）技术的繁荣，越来越多的后门被对抗者设计用以攻击深度神经网络（DNN）。尽管最先进的方法神经注意力蒸馏（NAD）能够有效擦除 DNN 中的后门触发器，但由于 NAD 聚焦于使用同阶注意力特征（即注意力图）进行后门防御，其仍面临不可忽略的攻击成功率（ASR）以及下降的分类准确率（ACC）。本文引入一种名为注意力关系图蒸馏（ARGD）的新型后门防御框架，该框架利用我们提出的注意力关系图（ARG）充分挖掘不同阶注意力特征之间的关联。基于师生模型在知识蒸馏过程中 ARG 的对齐，ARGD 能够比 NAD 根除更多后门触发器。综合实验结果表明，针对六种最新后门攻击，ARGD 相较 NAD 在 ASR 上最高降低 94.85%，同时 ACC 最高提升 3.23%。
引用
@article{arxiv.2204.09975,
title = {Eliminating Backdoor Triggers for Deep Neural Networks Using Attention Relation Graph Distillation},
author = {Jun Xia and Ting Wang and Jiepin Ding and Xian Wei and Mingsong Chen},
journal= {arXiv preprint arXiv:2204.09975},
year = {2022}
}