Hessian方法能否为注意力模型的故障诊断提供支持？
机器学习
2025-06-10 v1 软件工程
摘要
随着注意力基于深度学习模型规模和复杂度的不断增长，对其故障的诊断变得日益具有挑战性。本文进行了一项实证研究，以评估Hessian方法在注意力模型故障诊断中的潜力。具体而言，我们利用Hessian方法的洞见通过曲率分析识别脆弱区域（通过参数相互作用分析），从而在注意力机制中识别参数之间的相互依赖性。通过在三个多样化模型（HAN、3D-CNN、DistilBERT）上的实验，我们展示了Hessian方法的度量能够比梯度alone更有效地局部化不稳定性并指向故障来源。我们的实证发现表明，这些度量可能显著改进复杂神经网络体系结构中的故障诊断， potentially improve software debugging practices。
引用
@article{arxiv.2506.07871,
title = {Can Hessian-Based Insights Support Fault Diagnosis in Attention-based Models?},
author = {Sigma Jahan and Mohammad Masudur Rahman},
journal= {arXiv preprint arXiv:2506.07871},
year = {2025}
}