评估防御模型对抗攻击与鲁棒性的关键检查点

过去几年来，存在一个循环：研究者提出一种针对机器学习中对抗样本的防御模型，该模型在受限条件下（在某些有界输入或数据集上评估）可谓可抵御大多数现有攻击。随后不久，另一组研究者发现该防御模型中的漏洞，并通过提出更强的攻击模型将其攻破。在一些很快被攻破的过往防御模型中，已注意到一些常见缺陷。防御模型如此轻易被攻破是一个值得关注的问题，因为许多关键活动的决策都借助机器学习模型做出。因此，迫切需要在评估技术可靠性并宣称其为可靠防御技术时，任何研究者都应牢记的一些防御检查点。在本文中，我们提出了在构建和评估防御模型可靠性时应考虑的若干检查点。所有这些要点都是在观察了一些过往防御模型失败的原因以及某些模型如何保持坚固并证明自身抵御某些极强攻击的可靠性之后给出的建议。