DEFault++：面向 Transformer 架构的自动化故障检测、分类与诊断
摘要
Transformer 模型被广泛部署于关键的人工智能应用中，然而其注意力机制、投影层及其他内部组件中的故障常常在未引发运行时错误的情况下悄然降低模型行为。现有的故障诊断技术通常针对通用深度神经网络，无法识别是哪个 Transformer 组件导致了观察到的症状。在本文中，我们提出了 DEFault++，一种基于层次学习的诊断技术，它在三个抽象层次上运行：检测是否存在故障，将故障分类为 12 种 Transformer 特定的故障类别（涵盖注意力内部机制及周围架构组件），并从多达 45 种机制中识别出根本原因。为了便于训练和评估，我们构建了 DEFault-bench，一个通过系统性变异测试获得的包含 3,739 个标记实例的基准。这些实例是使用我们为此目的开发的 Transformer 特定变异技术 DEForm，在七个 Transformer 模型和九个下游任务上创建的。DEFault++ 在单个 Transformer 组件的层面测量运行时行为。它通过从 Transformer 架构导出的故障传播图来组织这些测量结果。然后，它使用原型匹配结合监督对比学习产生可解释的诊断。在 DEFault-bench 上，DEFault++ 在检测上的 AUROC 超过 0.96，在编码器和解码器架构上的分类和根因诊断的 Macro-F1 均达到 0.85。在一项有 21 名从业者参与的开发者研究中，使用 DEFault++ 时，选择正确修复操作的准确率从无支持时的 57.1% 提升至 83.3%。
引用
@article{arxiv.2604.28118,
title = {DEFault++: Automated Fault Detection, Categorization, and Diagnosis for Transformer Architectures},
author = {Sigma Jahan and Saurabh Singh Rajput and Tushar Sharma and Mohammad Masudur Rahman},
journal= {arXiv preprint arXiv:2604.28118},
year = {2026}
}
备注
71 pages, 15 figures, 22 tables. Preprint; under preparation for journal submission. Standalone version of Chapter 7 of the lead author's PhD thesis (Dalhousie University, 2026). Replication package: https://github.com/SigmaJahan/DEFaultplusplus-Transformer-Debugging