用于遥感场景分类的紧凑多分支集成网络中的嵌入式自蒸馏
计算机视觉与模式识别
2022-05-04 v1 机器学习
摘要
由于不同地理要素的不同特征带来的干扰，遥感（RS）图像场景分类任务面临诸多挑战。为解决该问题，我们提出一种多分支集成网络，通过在最终输出 logits 与中间特征图中融合特征来增强特征表示能力。然而，简单地增加分支会提高模型复杂度并降低推理效率。针对此问题，我们嵌入自蒸馏（SD）方法，将集成网络的知识迁移至其中的主分支。通过 SD 优化，主分支将获得与集成网络相近的性能。在推理时，我们可以剪除其他分支以简化整个模型。本文首先设计了可端到端训练的紧凑多分支集成网络，随后在输出 logits 与特征图上插入 SD 方法。相较先前方法，我们提出的架构（ESD-MBENet）以紧凑设计在分类精度上表现强劲。我们在三个基准 RS 数据集 AID、NWPU-RESISC45 和 UC-Merced 上，使用 VGG16、ResNet50 和 DenseNet121 三种经典基线模型进行了充分实验。结果证明，我们提出的 ESD-MBENet 能取得优于先前 state-of-the-art（SOTA）复杂模型的精度。此外，丰富的可视化分析使我们的方法更具说服力与可解释性。
引用
@article{arxiv.2104.00222,
title = {Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification},
author = {Qi Zhao and Yujing Ma and Shuchang Lyu and Lijiang Chen},
journal= {arXiv preprint arXiv:2104.00222},
year = {2022}
}
备注
14 pages,9 figures