基于风格的神经网络架构用于实时天气分类

本文提出了三个用于从图像中实时分类天气状况（晴天、雨天、雪天、雾天）的神经网络架构。这些模型灵感来自最近的风格迁移技术，旨在捕捉图像中存在的风格元素。其中一个模型称为“Multi-PatchGAN”，基于Pix2Pix和CycleGAN等著名架构中使用的PatchGANs，但此处采用多个 patch 大小进行检测任务。第二个模型“Truncated ResNet50”是ResNet50的一个简化版本，仅保留其前九层。这种截断方式由演化算法决定，有助于提取捕捉细微风格细节所必需的高频特征。最后，我们提出了“结合Gram矩阵和注意力机制的Truncated ResNet50”，在训练期间为每一层计算Gram矩阵，并通过注意力机制自动对其进行加权，从而优化最相关风格表达的提取。后两个模型超越了当前的研究成果，在多个公开数据库上 demonstrate 出卓越的泛化能力。虽然为天气检测开发，但这些架构也适用于其他基于外观的分类任务，如动物种类识别、纹理分类、医学影像疾病检测或工业缺陷识别。