SeqCo-DETR：基于序列一致性训练的Transformer自监督目标检测方法
计算机视觉与模式识别
2023-03-16 v1
摘要
自监督预训练与基于Transformer的网络已显著提升了目标检测的性能。然而，当前大多数自监督目标检测方法都建立在卷积架构之上。我们认为，在为目标检测任务设计基于Transformer的自监督方法时，应考量Transformer的序列特性。为此，我们提出SeqCo-DETR，一种新颖的基于序列一致性(Sequence Consistency)的Transformer目标检测自监督方法。SeqCo-DETR通过最小化以不同图像视图作为输入时Transformer输出序列的差异来定义一个简单而有效的 pretext，并利用二分匹配寻找最相关的序列对，以提升序列级自监督表示学习的性能。此外，我们提供了一种基于掩码的增强策略，与序列一致性策略结合，以提取更有助于目标检测任务的对象上下文信息。我们的方法在 MS COCO (45.8 AP) 和 PASCAL VOC (64.1 AP) 上取得了最先进的结果，证明了方法的有效性。
引用
@article{arxiv.2303.08481,
title = {SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers},
author = {Guoqiang Jin and Fan Yang and Mingshan Sun and Ruyi Zhao and Yakun Liu and Wei Li and Tianpeng Bao and Liwei Wu and Xingyu Zeng and Rui Zhao},
journal= {arXiv preprint arXiv:2303.08481},
year = {2023}
}