MASK-CNN-Transformer 用于实时多标签天气识别
计算机视觉与模式识别
2023-08-22 v2 人工智能
摘要
天气识别是许多实际生活应用（包括交通安全、环境和气象）的重要支撑。然而，现有许多相关工作由于其复杂的共现依赖关系，无法全面描述天气状况。本文提出了一种考虑这些依赖关系的新型多标签天气识别模型。所提出的模型称为 MASK-卷积神经网络-Transformer（MASK-CT），它基于 Transformer、卷积过程和 MASK 机制。该模型采用多个卷积层从天气图像中提取特征，并利用 Transformer 编码器基于提取的特征计算每种天气状况的概率。为提高 MASK-CT 的泛化能力，在训练阶段使用了 MASK 机制。本文探讨并讨论了 MASK 机制的效果。该 Mask 机制随机屏蔽一对训练实例（一幅图像及其对应标签）中的部分信息。共有两种 MASK 方法。具体而言，MASK-I 在将图像输入天气特征提取器之前设计并部署于图像上，MASK-II 应用于图像标签。随后，Transformer 编码器作用于随机掩码后的图像特征和标签。来自多个真实世界天气识别数据集的实验结果表明，所提出的 MASK-CT 模型优于当前最先进（SOTA）方法。此外，还评估了 MASK-CT 的高速动态实时天气识别能力。
引用
@article{arxiv.2304.14857,
title = {MASK-CNN-Transformer For Real-Time Multi-Label Weather Recognition},
author = {Shengchao Chen and Ting Shu and Huan Zhao and Yuan Yan Tang},
journal= {arXiv preprint arXiv:2304.14857},
year = {2023}
}
备注
Have been accepted. Appears in Knowledge-Based Systems, see https://www.sciencedirect.com/science/article/pii/S0950705123006317