通过物体级对比学习对齐检测预训练
计算机视觉与模式识别
2021-10-26 v2
摘要
图像级对比表示学习已被证明作为迁移学习的通用模型极为有效。然而，若我们关注某一特定下游任务，这种用于迁移学习的通用性会牺牲针对性。我们认为这可能并非最优，并倡导一种鼓励自监督 pretext 任务与下游任务之间对齐的设计原则。本文遵循该原则，提出一种专为物体检测任务设计的预训练方法。我们在以下三方面实现对齐：1）通过选择性搜索边界框作为物体提议引入物体级表示；2）预训练网络架构纳入检测流程中使用的相同专用模块（如FPN）；3）预训练配备物体检测特性，如物体级平移不变性与尺度不变性。我们的方法称为选择性物体对比学习（Selective Object COntrastive learning，SoCo），在使用Mask R-CNN框架的COCO检测上实现了迁移性能的state-of-the-art结果。代码见https://github.com/hologerry/SoCo。
引用
@article{arxiv.2106.02637,
title = {Aligning Pretraining for Detection via Object-Level Contrastive Learning},
author = {Fangyun Wei and Yue Gao and Zhirong Wu and Han Hu and Stephen Lin},
journal= {arXiv preprint arXiv:2106.02637},
year = {2021}
}
备注
Accepted by NeurIPS 2021 (spotlight), code is availabel at https://github.com/hologerry/SoCo