基于一对一自教学的多模态遥感图像目标检测引导式混合量化方法
计算机视觉与模式识别
2023-08-09 v1
摘要
考虑到计算复杂度，我们提出了一种带有一对一自教学(GHOST)的引导式混合量化框架。更具体地，我们首先设计了一种称为引导式量化自蒸馏(GQSD)的结构，这是通过量化与蒸馏的协同实现轻量化的创新思路。量化模型的训练由其全精度模型引导，无需提前准备庞大的预训练模型，省时省力。其次，我们提出混合量化(HQ)模块，在权重值搜索空间中施加中心与样本间分布距离阈值的约束条件下，自动获得最优位宽。第三，为改善信息迁移，我们提出一对一自教学(OST)模块，赋予学生网络自判断能力。开关控制机(SCM)在同一位置的学生网络与教师网络间搭建桥梁，帮助教师减少错误引导并向学生传授关键知识。该蒸馏方法使模型能从自身学习并获得显著提升，无需任何额外监督。在多模态数据集(VEDAI)和单模态数据集(DOTA、NWPU及DIOR)上的大量实验表明，基于GHOST的目标检测优于现有检测器。与任何基于遥感、轻量化或基于蒸馏的算法相比，微小的参数(<9.7 MB)与位操作数(BOPs)(<2158 G)证明了其在轻量化设计领域的优越性。我们的代码与模型将发布于https://github.com/icey-zhang/GHOST。
引用
@article{arxiv.2301.00131,
title = {Guided Hybrid Quantization for Object detection in Multimodal Remote Sensing Imagery via One-to-one Self-teaching},
author = {Jiaqing Zhang and Jie Lei and Weiying Xie and Yunsong Li and Xiuping Jia},
journal= {arXiv preprint arXiv:2301.00131},
year = {2023}
}
备注
This article has been delivered to TRGS and is under review