基于自知识蒸馏的鲁棒且精确的目标检测
计算机视觉与模式识别
2022-10-20 v1
摘要
目标检测在干净数据集上已取得令人满意的性能，但如何在对抗鲁棒性与干净精度之间取得更好权衡仍待探索。对抗训练是提升鲁棒性的主流方法，但大多数工作相较于标准训练会以牺牲干净精度来换取鲁棒性。本文提出统一解耦特征对齐（UDFA），一种新颖的微调范式，通过充分探索自知识蒸馏与对抗训练在目标检测中的结合，取得了优于现有方法的性能。我们首先使用解耦的前景/背景特征，在来自预训练检测器（作为教师）的干净特征表示与来自学生检测器的对抗特征表示之间构建自知识蒸馏分支。随后，我们将自知识蒸馏从新角度解耦为自监督学习分支与新的自知识蒸馏分支。在 PASCAL-VOC 与 MS-COCO 基准上的大量实验表明，UDFA 在目标检测上超越了标准训练与最先进的对训练方法。例如，相较于教师检测器，我们的方法在采用 ResNet-50 的 GFLV2 上于 PASCAL-VOC 提升干净精度 2.2 AP；相较于 SOTA 对抗训练方法，我们的方法提升干净精度 1.6 AP，同时提升对抗鲁棒性 0.5 AP。我们的代码将发布于 https://github.com/grispeut/udfa。
引用
@article{arxiv.2111.07239,
title = {Robust and Accurate Object Detection via Self-Knowledge Distillation},
author = {Weipeng Xu and Pengzhi Chu and Renhao Xie and Xiongziyan Xiao and Hongcheng Huang},
journal= {arXiv preprint arXiv:2111.07239},
year = {2022}
}