面向光学遥感图像轻量化舰船朝向角预测的回归导向知识蒸馏
计算机视觉与模式识别
2023-07-14 v1 人工智能
摘要
基于光学遥感图像的舰船朝向角预测（SOAP）是一项重要的图像处理任务，通常依赖深度卷积神经网络（CNN）进行准确预测。本文提出一种新颖框架，在不损害预测精度的前提下减小 SOAP 模型的尺寸与计算开销。首先，基于 MobileNetV2 设计了一种称为 Mobile-SOAP 的新 SOAP 模型，取得了最先进的预测精度。还通过分别以四个小规模网络替换 Mobile-SOAP 中的卷积块，创建了四个微型 SOAP 模型。然后，为将知识从 Mobile-SOAP 迁移至四个轻量化模型，我们提出了一种称为 SOAP-KD 的新颖知识蒸馏（KD）框架，其由一种基于特征的导引损失和一种优化的基于合成样本的知识迁移机制组成。最后，在 FGSC-23 数据集上的大量实验证实了 Mobile-SOAP 相对于现有模型的优越性，并证明了 SOAP-KD 在提升四个专门设计的微型模型预测性能方面的有效性。值得注意的是，通过使用 SOAP-KD，基于 ShuffleNetV2x1.0 的模型的测试平均绝对误差仅比 Mobile-SOAP 高 8%，但其参数量与乘加运算（MACs）分别减少了 61.6% 和 60.8%。
引用
@article{arxiv.2307.06566,
title = {Regression-Oriented Knowledge Distillation for Lightweight Ship Orientation Angle Prediction with Optical Remote Sensing Images},
author = {Zhan Shi and Xin Ding and Peng Ding and Chun Yang and Ru Huang and Xiaoxuan Song},
journal= {arXiv preprint arXiv:2307.06566},
year = {2023}
}