MFGDiffusion：面向森林火灾检测的掩码引导烟雾合成

烟雾是野生火灾的第一个可见指示器。随着深度学习的发展，基于图像的烟雾检测已成为检测和预防森林火灾的关键方法。然而，来自森林火灾的烟雾图像数据稀缺是阻碍野火烟雾检测的重要因素之一。图像生成模型为合成真实烟雾图像提供了有前景的解决方案。然而，当前的图像修复模型在生成高质量烟雾表示方面存在局限，尤其体现在合成烟雾与背景上下文之间存在不一致性。为解决这些问题，我们提出了一个综合框架用于生成森林火灾烟雾图像。首先，我们采用预训练的分割模型和多模态模型获取烟雾掩码和图像描述。然后，为了解决图像修复模型对掩码和被掩码图像的利用不足问题，我们引入一种由掩码和被掩码图像特征引导的网络架构。我们还提出了一种新型损失函数，即掩码随机差异损失，通过随机扩展和腐蚀掩码边缘来增强生成效果围绕掩码的一致性。最后，为了使用随机掩码生成烟雾图像数据集用于后续检测任务，我们融入了烟雾特征并使用多模态大语言模型作为筛选工具，以选择多样且合理的烟雾图像，从而提高合成数据集的质量。实验表明，我们生成的烟雾图像是真实且多样的，并且有效增强了森林火灾烟雾检测模型的性能。代码可在https://github.com/wghr123/MFGDiffusion获取。