基于稀疏编码和注意力机制的LISTA-Transformer模型及其在故障诊断中的应用
计算机视觉与模式识别
2026-03-05 v1
摘要
随着多层感知器（MLP）、卷积神经网络（CNN）和Transformer等模型的不断发展，深度学习在计算机视觉和自然语言处理等领域取得了突破性进展，并成功应用于图像分类和工业故障诊断等实际场景。然而，现有模型在局部特征建模和全局依赖捕获方面仍存在局限。具体而言，CNN受限于局部感受野，而Transformer在有效建模局部结构方面存在不足，两者都面临模型复杂度高和可解释性不足的挑战。为此，本文提出了以下创新性工作：设计了基于Learnable Iterative Shrinkage Threshold Algorithm（LISTA）稀疏编码的Transformer，深入将LISTA稀疏编码与视觉Transformer集成，以构建一种具有自适应局部和全局特征协作机制的模型架构。该方法利用连续小波变换将振动信号转换为时频图，并输入LISTA-Transformer进行更有效的特征提取。在CWRU数据集上，本方法的故障识别率达到了98.5%，比传统方法高出3.3%，在现有基于Transformer的方法中也表现出一定的优势。
关键词
引用
@article{arxiv.2603.04146,
title = {LISTA-Transformer Model Based on Sparse Coding and Attention Mechanism and Its Application in Fault Diagnosis},
author = {Shuang Liu and Lina Zhao and Tian Wang and Huaqing Wang},
journal= {arXiv preprint arXiv:2603.04146},
year = {2026}
}
备注
14 pages, 14 figures, conference paper