AnomalyExplainer：基于BERTViz和Captum的LLM异常检测可解释AI框架
机器学习
2025-09-03 v1
摘要
对话式AI和大型语言模型（LLM）已成为跨领域的强大工具，包括网络安全领域，帮助提前检测威胁并缩短响应时间。然而，由于虚假阳性和复杂模型管理等挑战，仍限制了信任。尽管可解释AI（XAI）旨在使AI决策更透明，但许多安全分析师仍对其实用性存疑。本研究提出一种框架，用于检测异常并通过视觉工具BERTViz和Captum提供高质量解释，结合基于注意力输出的自然语言报告。这一方法减少了手动工作量并加快了修复速度。我们的比较分析显示，RoBERTa 在准确率（99.6%）和异常检测方面表现突出，优于Falcon-7B和DeBERTa，并且在LogHub HDFS 数据集上比大规模Mistral-7B更具灵活性。用户反馈确认，该聊天机器人使用便捷，能够提升对异常的理解，证明了所开发框架能够加强网络安全工作流程。
引用
@article{arxiv.2509.00069,
title = {AnomalyExplainer Explainable AI for LLM-based anomaly detection using BERTViz and Captum},
author = {Prasasthy Balasubramanian and Dumindu Kankanamge and Ekaterina Gilman and Mourad Oussalah},
journal= {arXiv preprint arXiv:2509.00069},
year = {2025}
}