基于机器学习的系统中的威胁评估

机器学习是人工智能（AI）的一个领域，正成为若干关键系统所必需的，这使其成为威胁行为者的良好目标。威胁行为者针对机器学习（ML）系统的机密性、完整性和可用性利用不同的战术、技术和程序（TTPs）。在 ML 周期中，他们利用对抗性 TTPs 来毒化数据并欺骗基于 ML 的系统。近年来，已针对传统系统提出了多种安全实践，但它们不足以应对基于 ML 系统的性质。在本文中，我们针对针对基于 ML 系统的威胁报告进行了实证研究，旨在理解和表征 ML 威胁的性质并识别常见的缓解策略。该研究基于来自 MITRE 的 ATLAS 数据库、AI 事件数据库和文献的 89 个真实世界 ML 攻击场景；以及基于声誉从 GitHub 搜索和 Python Packaging Advisory 数据库筛选出的 854 个 ML 仓库。来自 AI 事件数据库和文献的攻击用于识别 ATLAS 中未记录的漏洞和新类型威胁。结果显示，卷积神经网络是攻击场景中最受针对的模型之一。具有最大漏洞显著性的 ML 仓库包括 TensorFlow、OpenCV 和 Notebook。在本文中，我们还报告了所研究 ML 仓库中最频繁的漏洞、最受针对的 ML 阶段和模型、ML 阶段和攻击场景中最常用的 TTPs。这些信息对于红/蓝队更好地实施攻击/防御、从业者预防 ML 开发中的威胁以及研究人员开发高效防御机制尤为重要。