基于自知识蒸馏的双重反向正则化网络用于 SAR 目标分类
计算机视觉与模式识别
2023-11-28 v1 机器学习
图像与视频处理
摘要
在当前合成孔径雷达（SAR）目标分类中，主要挑战之一是由于数据集有限（少样本）和含噪数据导致的严重过拟合问题。考虑到知识蒸馏作为一种学习型标签平滑正则化的优势，本文提出一种基于自知识蒸馏的新型双重反向正则化网络（DRRNet-SKD）。具体而言，通过探究蒸馏权重在蒸馏过程中的作用，我们受启发采用双重反向思想，以互补方式结合离线蒸馏与在线蒸馏，实现有效的正则化网络。随后，设计自适应权重分配（AWA）模块，基于网络性能自适应分配两个反向变化的权重，使学生网络更好地从两位教师网络中获益。在 OpenSARShip 与 FUSAR-Ship 上的实验结果表明，DRRNet-SKD 在经典 CNN 上取得了显著的性能提升，优于最先进的自知识蒸馏方法。
引用
@article{arxiv.2311.15231,
title = {Double Reverse Regularization Network Based on Self-Knowledge Distillation for SAR Object Classification},
author = {Bo Xu and Hao Zheng and Zhigang Hu and Liu Yang and Meiguang Zheng},
journal= {arXiv preprint arXiv:2311.15231},
year = {2023}
}
备注
6 pages, 8 figures