使用多模态信号的细粒度发动机故障声音事件检测

声音事件检测（SED）是音频研究的一个活跃领域，旨在检测声音的时间发生。本文将SED应用于发动机故障检测，引入了一个多模态SED框架，该框架利用音频和加速度计记录的振动来检测汽车发动机的细粒度故障。我们首先在一个从大量各类车辆收集并带有专家标注的发动机故障声音事件的数据集上，介绍了发动机故障SED的问题。接着，我们提出了一个SED模型来时间检测车辆发动机内发生的十种细粒度发动机故障，并进一步探索了使用大规模弱标注发动机故障数据集的预训练策略。通过多次评估，我们表明我们提出的框架能够有效检测发动机故障声音事件。最后，我们研究了每种模态的交互和特征，并表明融合来自音频和振动的特征可提升整体的发动机故障SED能力。