用于推理和鲁棒性评估的训练速率与生存启发式方法（TRASHFIRE）

机器学习模型——尤其是深度神经网络——在跨广泛领域的基准数据集上表现非常出色。然而，当训练时间以小时或天计，而找到成功对抗性反例的时间以秒计时，找到对抗性反例的容易程度仍然是一个持续存在的问题。已有大量工作致力于生成和防御这些对抗性反例，然而攻击和防御的相对成本很少被讨论。此外，机器学习研究几乎完全由测试/训练指标指导，但这些指标需要数十亿样本才能达到行业标准。本文解决了理解和预测特定模型超参数如何影响模型在对手存在下的性能的问题。所提出的方法使用生存模型、最坏情况示例和成本感知分析，在常规模型训练过程中精确且准确地拒绝特定的模型更改，而不是依赖实际部署、昂贵的正式验证方法或非常复杂系统的准确模拟（例如，数字重建汽车或飞机的每个部分）。通过对许多预处理技术、对抗性反例和神经网络配置的评估，结论是更深层模型相比浅层模型在生存时间上确实提供了边际收益。然而，我们表明这些收益更多地由模型推理时间驱动，而非固有的鲁棒性属性。使用所提出的方法，我们表明ResNet即使对最简单的白盒攻击也是完全不安全的。