基于注意力特征蒸馏的光学遥感影像高效目标检测
计算机视觉与模式识别
2023-10-31 v1
摘要
高效目标检测方法近来在遥感领域受到极大关注。尽管深度卷积网络常具有优异的检测精度，但其在资源受限的边缘设备上部署困难。知识蒸馏（KD）是一种解决此问题的策略，因为它在保持精度的同时使模型轻量化。然而，现有的用于目标检测的 KD 方法遇到两个局限。第一，它们丢弃潜在重要的背景信息，仅蒸馏邻近前景区域。第二，它们仅依赖全局上下文，限制了学生检测器从教师检测器获取局部信息的能力。为解决上述挑战，我们提出基于注意力的特征蒸馏（AFD），一种从教师检测器蒸馏局部与全局信息的新 KD 方法。为增强局部蒸馏，我们引入多实例注意力机制，有效区分背景与前景元素。该方法促使学生检测器聚焦于由教师检测器识别的相关通道与像素。局部蒸馏缺乏全局信息，因此提出注意力全局蒸馏以重建各像素间关系并将其从教师传递至学生检测器。AFD 在两个公开航拍图像基准上评估，评估结果表明 AFD 在目标检测中能以高效方式达到其他 SOTA 模型的性能。
引用
@article{arxiv.2310.18676,
title = {Efficient Object Detection in Optical Remote Sensing Imagery via Attention-based Feature Distillation},
author = {Pourya Shamsolmoali and Jocelyn Chanussot and Huiyu Zhou and Yue Lu},
journal= {arXiv preprint arXiv:2310.18676},
year = {2023}
}