AlignDet：对齐目标检测中的预训练与微调
计算机视觉与模式识别
2023-08-15 v2 人工智能
机器学习
摘要
大规模预训练随后进行下游微调的范式已被广泛应用于各类目标检测算法中。本文中，我们揭示了现有实践中预训练与微调过程在数据、模型与任务上的差异，这些差异隐性地限制了检测器的性能、泛化能力与收敛速度。为此，我们提出 AlignDet，一种统一的预训练框架，可适配于多种现有检测器以缓解上述差异。AlignDet 将预训练过程解耦为两个阶段，即图像域与边界框域预训练。图像域预训练优化检测骨干网络以捕获整体视觉抽象，边界框域预训练学习实例级语义与任务感知概念以初始化骨干网络之外的部分。通过结合自监督预训练的骨干网络，我们可以以无监督范式对各种检测器的所有模块进行预训练。如图1所示，大量实验表明 AlignDet 能在不同协议下取得显著提升，如检测算法、模型骨干、数据设置与训练计划。例如，在更少轮数下，AlignDet 将 FCOS 提升 5.3 mAP，RetinaNet 提升 2.1 mAP，Faster R-CNN 提升 3.3 mAP，DETR 提升 2.3 mAP。
引用
@article{arxiv.2307.11077,
title = {AlignDet: Aligning Pre-training and Fine-tuning in Object Detection},
author = {Ming Li and Jie Wu and Xionghui Wang and Chen Chen and Jie Qin and Xuefeng Xiao and Rui Wang and Min Zheng and Xin Pan},
journal= {arXiv preprint arXiv:2307.11077},
year = {2023}
}
备注
Camera Ready Version on ICCV 2023. Code and Models are publicly available. Project Page: https://liming-ai.github.io/AlignDet