用于结构健康监测的基础模型

结构健康监测（SHM）是确保民用基础设施安全性和可靠性的关键任务，通常通过桥梁和高架桥的振动监测来实现。本文首次提出将具有掩码自编码器架构的 Transformer 神经网络作为 SHM 的基础模型。我们证明了这些模型能够通过自监督预训练从多个大型数据集中学习可泛化的表示，结合特定任务的微调，使其在包括异常检测（AD）和交通载荷估计（TLE）在内的多种任务上优于 SOTA 传统方法。随后，我们广泛探索了模型大小与准确率之间的权衡，并尝试使用知识蒸馏（KD）来提升较小 Transformer 的性能，使其能够直接嵌入 SHM 边缘节点。我们利用三个运营高架桥的数据展示了基础模型的有效性。对于 AD，在仅 15 个窗口的监测时间跨度内，我们实现了接近完美的 99.9% 准确率。相比之下，基于主成分分析（PCA）的 SOTA 方法仅考虑 120 个窗口才获得首个良好结果（95.03% 准确率）。在两个不同的 TLE 任务上，我们的模型在多个评估指标（R$^2$ 分数、MAE% 和 MSE%）上取得了 SOTA 性能。在第一个基准上，对于轻型车辆和重型车辆交通，我们分别实现了 0.97 和 0.90 的 R$^2$ 分数，而此前最佳方法（Random Forest）仅停留在 0.91 和 0.84。在第二个基准上，我们实现了 0.54 的 R$^2$ 分数，而最佳竞争方法 Long-Short Term Memory 网络为 0.51。