FaultFormer：用于自适应轴承故障分类的 Transformer 预训练

全球消费的增长推动了深度学习在智能制造和机器健康监测中的重要应用。特别是，通过检测轴承故障，分析振动数据为提取预测性维护的有意义见解提供了巨大潜力。深度学习可以是预测这些机械故障的强大方法；然而，它们对新任务或数据集缺乏泛化能力，并且需要昂贵的带标签机械数据。我们通过提出一种基于 Transformer 模型的新型自监督预训练和微调框架来解决这一问题。特别是，我们研究了不同的 tokenization 和数据增强策略，以使用 Transformer 模型达到 SOTA 准确率。此外，我们展示了针对振动信号的自监督掩码预训练及其在低数据量场景、任务适应和数据集适应中的应用。预训练能够提高在稀缺、未见过的训练样本上的性能，以及在预训练分布之外的故障类别上进行微调时的性能。此外，结果表明预训练的 Transformer 能够以 few-shot 方式泛化到不同的数据集。这引入了一种新的范式，即模型可以在来自不同轴承、故障和机械的无标签数据上进行预训练，并快速部署到新的、数据稀缺的应用中，以满足特定的制造需求。