模块化学习组件攻击：当今现实，明日挑战
密码学与安全
2017-08-28 v1 机器学习
机器学习
摘要
当今许多机器学习(ML)系统不是从头构建，而是由一系列模块化学习组件(MLCs)组合而成。MLCs的日益使用显著简化了ML系统开发周期。然而，由于大多数MLCs由第三方贡献和维护，其缺乏标准化和监管带来深远安全影响。本文中，我们首次展示潜在有害的MLCs对ML系统安全构成巨大威胁。我们提出一类广泛的逻辑炸弹攻击，其中恶意制作的MLCs触发宿主系统以可预测方式故障。通过实证研究中两个最先进的医疗领域ML系统，我们探索此类攻击的可行性。例如，我们展示在无需事先了解宿主ML系统的情况下，仅修改MLC参数的3.3‰，每个失真低于 ，对手能够以100%成功率强制目标受害者的皮肤癌误诊。我们为此类攻击的成功提供分析依据，指向当今ML模型的基本特性：高维、非线性和非凸性。因此该问题似乎对许多ML系统是基础性的。我们进一步讨论缓解基于MLC攻击的潜在对策及其潜在技术挑战。
引用
@article{arxiv.1708.07807,
title = {Modular Learning Component Attacks: Today's Reality, Tomorrow's Challenge},
author = {Xinyang Zhang and Yujie Ji and Ting Wang},
journal= {arXiv preprint arXiv:1708.07807},
year = {2017}
}