忽略 AI 增强安全管道中不确定性传播的风险
软件工程
2025-07-18 v2 人工智能
密码学与安全
摘要
AI 技术正被集成到面向软件系统的安全开发中，越来越趋向于将带有不可确定性能水平的 AI 子系统组合到自动化管道中。这构成了根本性的研究挑战，并严重威胁到安全关键领域。尽管关于不确定性在风险分析中的既有知识，但尚无任何工作对给定 AI 增强系统在管道中误差传播的不确定性进行估计。我们提供了捕获不确定性传播的形式化基础，开发了一个量化不确定性的模拟器，并对一种案例研究中误差传播的仿真进行了评估。我们讨论了该方法的可推广性及其局限性，并提出了关于 AI 系统的评估政策的建议。未来工作包括通过放宽剩余假设并在真实系统上进行实验来扩展该方法。
引用
@article{arxiv.2407.14540,
title = {Risks of ignoring uncertainty propagation in AI-augmented security pipelines},
author = {Emanuele Mezzi and Aurora Papotti and Fabio Massacci and Katja Tuma},
journal= {arXiv preprint arXiv:2407.14540},
year = {2025}
}
备注
Accepted for publication in Risk Analysis: An International Journal