基于拓扑学的木马化神经网络检测
机器学习
2021-06-14 v1 计算几何
摘要
深度神经网络已知存在安全问题。其中一种特定威胁是木马攻击。当攻击者通过木马化训练样本隐蔽地操纵模型行为，且这些行为可在后续被利用时，攻击即告发生。基于基本神经科学原理，我们发现了刻画木马化模型的微妙却关键的结构偏差。在分析中我们使用了拓扑学工具。它们使我们能够对网络中的高阶依赖关系建模、稳健地比较不同网络并定位结构异常。一个有趣的观察是，木马化模型在输入层与输出层之间形成了捷径。受这些观察启发，我们设计了一种稳健检测木马化模型的策略。相较于标准基线，该策略在多个基准上表现出更优性能。
引用
@article{arxiv.2106.06469,
title = {Topological Detection of Trojaned Neural Networks},
author = {Songzhu Zheng and Yikai Zhang and Hubert Wagner and Mayank Goswami and Chao Chen},
journal= {arXiv preprint arXiv:2106.06469},
year = {2021}
}