JVLGS：联合视觉-语言气体泄漏分割

气体泄漏对人类健康构成严重威胁，并在大气污染中作出显著贡献，引起日益关注。然而，缺乏有效的检测方法会阻碍及时和准确地识别气体泄漏。虽然一些基于视觉的技术利用红外视频进行泄漏检测，但气体云的模糊和非刚性本质往往限制其效果。为解决这些挑战，我们提出一种新框架，称为联合视觉-语言气体泄漏分割 (JVLGS)，该框架整合了视觉和文本模态的互补优势，以增强气体泄漏的表征和分割。鉴于气体泄漏是偶发的且许多视频帧可能不包含任何泄漏，我们的方法包含一个后处理步骤，以减少由噪声和非目标物体引起的误报，这一问题影响了许多现有方法。广泛的实验表明，JVLGS 在各种场景下均显著优于最先进的气体泄漏分割方法。在监督学习和少样本学习设置下评估我们的模型，它在两种设置下均表现出色，而竞争方法往往在仅一个设置中表现良好或在两个设置中都表现不佳。代码可在 https://github.com/GeekEagle/JVLGS 获取。