InsCon:通过自监督学习实现实例一致性特征表示
计算机视觉与模式识别
2022-03-16 v1
摘要
通过自监督学习进行特征表示在图像级对比学习中已取得显著成功,为图像分类任务带来令人印象深刻的性能。而图像级特征表示主要关注单实例中的对比学习,忽视了如目标检测与实例分割等前置任务与下游预测任务间的客观差异。为充分释放特征表示在下游预测任务上的能力,我们提出一种名为InsCon的端到端自监督框架,致力于捕获多实例信息并提取单元实例特征以用于目标识别与定位。一方面,InsCon构建了以多实例图像作为输入的有针对性学习范式,对齐对应实例视图间的学习特征,使其更适配多实例识别任务。另一方面,InsCon引入单元实例的拉与推,利用单元一致性增强细粒度特征表示以实现精确边界定位。由此,InsCon在语义特征表示上学习多实例一致性,在空间特征表示上学习单元实例一致性。实验表明,所提方法在使用Mask R-CNN R50-FPN网络结构、90k迭代时,在COCO目标检测上超越MoCo v2达1.1% AP^{bb},在COCO实例分割上超越1.0% AP^{mk};在使用Faster R-CNN R50-C4网络结构、24k迭代时,在PASCAL VOC目标检测上超越2.1% APbb。
引用
@article{arxiv.2203.07688,
title = {InsCon:Instance Consistency Feature Representation via Self-Supervised Learning},
author = {Junwei Yang and Ke Zhang and Zhaolin Cui and Jinming Su and Junfeng Luo and Xiaolin Wei},
journal= {arXiv preprint arXiv:2203.07688},
year = {2022}
}
备注
16 pages, 3 figures, 9 tables