跨模态学习在复杂工业过程中的异常检测：方法与基准

复杂工业过程的异常检测在确保高效、稳定和安全运行方面发挥着关键作用。现有的异常检测方法主要聚焦于分析以工艺变量（如电弧电流）为主的显著异常，或基于异常视觉特征构建神经网络，而忽略了跨模态信息的内在关联性。本文提出一种跨模态Transformer（称作FmFormer），通过探索视觉特征（视频）与工艺变量（电流）在融合镁炼过程中的关联性来实现异常检测。我们的方法引入了一种新颖的分词范式，有效地以多尺度方式弥合3D视频模态与1D电流模态之间的显著维度差距，使其能够进行像素级异常检测的层次性重建。随后，FmFormer利用自注意力学习每个模态内部的特征，并利用双向交叉注意力捕获跨模态的相关性。通过解码双向关联特征，我们获得最终的检测结果，甚至可以定位特定的异常区域。为验证所提方法的有效性，我们还提供了一个在融合镁炼过程中的 pioneering 跨模态基准， featuring 同步获取的视频和电流数据，超过220万个样本。凭借跨模态学习，FmFormer在检测异常方面实现了最先进的性能，尤其是在电流波动和因重水雾导致的视觉遮挡等极端干扰下。本文提出的方法论及基准数据集可能适用于其他工业应用。该基准将在https://github.com/GaochangWu/FMF-Benchmark 上发布。