为对抗样本研究确立游戏规则之动因
机器学习
2018-07-23 v2 机器学习
摘要
机器学习的进展已导致在重要问题上表现优异的系统被广泛部署。尽管如此，这些系统仍可能在与已正确处理样本惊人相似的数据上被诱导出错。此类错误的存在引发了对样本外泛化以及恶意行为者是否可能利用此类样本滥用已部署系统的诸多疑问。出于这些安全担忧，近期涌现了大量提出算法以防御对正确处理样本进行恶意扰动的论文。目前尚不清楚此类误分类如何代表一种不同于其他错误、甚至不同于与未 corrupted 输入无特定关联的其他攻击者生成样本的安全问题。在本文中，我们认为迄今为止对抗样本防御论文大多考虑的是与任何具体安全关切无关的抽象玩具博弈。此外，防御论文尚未精确描述实际安全中相关的攻击者的所有能力与限制。为此，我们建立了一个针对更合理攻击者的动机、约束与能力的分类法。最后，我们提供了一系列建议，为未来工作勾勒出更清晰阐明威胁模型并进行更有意义评估的前进路径。
引用
@article{arxiv.1807.06732,
title = {Motivating the Rules of the Game for Adversarial Example Research},
author = {Justin Gilmer and Ryan P. Adams and Ian Goodfellow and David Andersen and George E. Dahl},
journal= {arXiv preprint arXiv:1807.06732},
year = {2018}
}