更多问题而非答案？——关于将可解释 AI 集成到网络安全 AI 工具中的经验教训
人机交互
2024-08-12 v1 人工智能
摘要
我们分享了将可解释 AI（XAI）集成到网络安全分析师特定领域工作流程中的观察和挑战。具体而言，我们简要描述了一个关于使用 XAI 进行源代码分类的初步案例研究，其中准确性评估和及时性至关重要。我们发现，尽管 SHAP 或 LIME 等最新解释技术在营销中被宣传为面向非技术用户，但当由对 AI expertise 有限的人解释时，其输出仍会在翻译中丢失。此外，我们发现，流行的 XAI 技术在后置且在解释局部性时提供的洞见有限，难以适用于实时人机协作工作流程。相反，我们观察到网络安全分析师需要更高层次、易于理解的解释，这些解释应尽可能少地干扰其工作流程。我们概述了在实际和有效的 XAI 方面的未被 address 的空白，然后提及了大型语言模型（LLM）如何可能缓解这些现有障碍。
引用
@article{arxiv.2408.04746,
title = {More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool},
author = {Ashley Suh and Harry Li and Caitlin Kenney and Kenneth Alperin and Steven R. Gomez},
journal= {arXiv preprint arXiv:2408.04746},
year = {2024}
}
备注
ACM CHI 2024 Workshop on Human-Centered Explainable AI (HCXAI)