VICRegL：局部视觉特征的自监督学习
计算机视觉与模式识别
2022-10-05 v1 人工智能
机器学习
摘要
大多数近期用于学习图像表示的自监督方法要么侧重于产生具有不变性属性的全局特征，要么产生一组局部特征。前者在分类任务上表现最佳，而后者在检测和分割任务上表现最佳。本文探讨了学习局部特征与全局特征之间的基本权衡。提出了一种称为 VICRegL 的新方法，可同时学习良好的全局与局部特征，在检测和分割任务上取得优异性能，同时在分类任务上保持良好表现。具体而言，标准卷积网络架构的两个相同分支分别输入同一图像的两个不同失真版本。VICReg 准则应用于成对的全局特征向量。同时，VICReg 准则应用于最后一个池化层之前出现的成对的局部特征向量。若两个局部特征向量的 l2 距离低于阈值，或其相对位置与两个输入图像之间已知的几何变换一致，则它们相互吸引。我们在线性分类和分割迁移任务上展示了强劲性能。代码与预训练模型公开于：https://github.com/facebookresearch/VICRegL
引用
@article{arxiv.2210.01571,
title = {VICRegL: Self-Supervised Learning of Local Visual Features},
author = {Adrien Bardes and Jean Ponce and Yann LeCun},
journal= {arXiv preprint arXiv:2210.01571},
year = {2022}
}
备注
Accepted at NeurIPS 2022