VPN: 神经网络中的数据投毒验证
密码学与安全
2022-05-10 v1 人工智能
摘要
神经网络已成功应用于多种场景，其中许多涉及安全与安保问题。因此，研究者提出了形式化验证技术以验证神经网络性质。以往工作主要聚焦于检查神经网络的局部鲁棒性，而我们研究另一类神经网络安全问题，即数据投毒。在此情形下，攻击者在部分训练数据中插入触发器，使得在测试时，输入中的该触发器导致训练好的模型误分类至某个目标类。我们展示了如何将数据投毒检查表述为一种可用现成验证工具（如 Marabou 和 nneum）检查的性质，其中检查失败的反例即构成触发器。我们进一步表明，所发现的触发器可从小模型‘迁移’到更大、训练更好的模型，从而能够分析为图像分类任务训练的最先进高性能模型。
引用
@article{arxiv.2205.03894,
title = {VPN: Verification of Poisoning in Neural Networks},
author = {Youcheng Sun and Muhammad Usman and Divya Gopinath and Corina S. Păsăreanu},
journal= {arXiv preprint arXiv:2205.03894},
year = {2022}
}