AI 推理漏洞的 CIA+TA 风险评估
密码学与安全
2025-08-25 v1 人工智能
摘要
随着 AI 系统越来越多地影响关键决策，它们面临针对推理机制而非技术基础设施的威胁。我们提出了一种面向认知网络安全的框架，系统性地保护 AI 推理过程免受对手操纵。我们的贡献有三方面：首先，确立认知网络安全作为一种补充传统网络安全和 AI 安全的学科，解决在合法输入下使推理受损且规避常规控制的漏洞；其次，引入 CIA+TA 模型，将传统的保密性、完整性和可用性三位一体扩展为信任 (认知验证) 和自主性 (人类行动自主性) 要求，这些要求是独特于生成知识声明并中介决策的系统所特有的；最后，我们提出一种定量风险评估方法，采用经验证的系数，使组织能够衡量认知安全风险。我们将该框架映射到 OWASP LLM Top 10 和 MITRE ATLAS，促进其操作集成。通过前人研究的验证（151 名人类参与者；12,180 次 AI 试验）显示，架构依赖性很强：相同的防御措施产生的效果从 96% 的降低到 135% 的放大，范围巨大。这一发现表明在可信赖的 AI 部署前必须进行认知渗透测试作为治理要求。
引用
@article{arxiv.2508.15839,
title = {CIA+TA Risk Assessment for AI Reasoning Vulnerabilities},
author = {Yuksel Aydin},
journal= {arXiv preprint arXiv:2508.15839},
year = {2025}
}