论自动机器学习的的安全风险
机器学习
2021-10-13 v1 密码学与安全
计算机视觉与模式识别
摘要
神经架构搜索（Neural Architecture Search，NAS）是一种新兴的机器学习（ML）范式，可自动搜索针对给定任务定制的模型，极大简化了 ML 系统的开发并推动了 ML 民主化的趋势。然而，鉴于 NAS 生成的模型在关键领域中的使用日益增多，人们对其带来的潜在安全风险却知之甚少。本研究是弥合这一差距的坚实初步尝试。通过对 10 种流行 NAS 方法的广泛实证研究，我们表明与人工设计的对应模型相比，NAS 生成的模型往往更容易受到各种恶意攻击（例如对抗性规避、模型投毒和功能窃取）。此外，借助实证与分析证据，我们为此类现象提供了可能的解释：鉴于 prohibitive 的搜索空间与训练成本，大多数 NAS 方法偏好在早期训练阶段快速收敛的模型；这一偏好导致了与攻击脆弱性相关的架构特性（例如高损失平滑度与低梯度方差）。我们的发现不仅揭示了模型特征与攻击脆弱性之间的关系，也暗示了不同攻击之间内在的联系。最后，我们讨论了缓解此类缺陷的潜在对策，包括增加单元深度与抑制跳跃连接，这引出了若干有前景的研究方向。
引用
@article{arxiv.2110.06018,
title = {On the Security Risks of AutoML},
author = {Ren Pang and Zhaohan Xi and Shouling Ji and Xiapu Luo and Ting Wang},
journal= {arXiv preprint arXiv:2110.06018},
year = {2021}
}
备注
Accepted as a full paper at USENIX Security '22