一叶知秋：基于遮挡的对比学习与语义感知视角用于高效视觉表征
计算机视觉与模式识别
2025-02-17 v2
摘要
本文提出了一种可扩展且直观的预训练范式，用于高效的视觉概念表征，称为遮挡图像对比学习（OCL）。我们的 OCL 方法很简单：随机掩码图像块以在图像内生成不同视角，并在一个图像小批量中对比它们。OCL 的核心思想包含两个设计。首先，被掩码的标记有潜力显著减少图像固有的概念冗余，并在语义概念层面而非实例层面创建具有实质性细粒度差异的不同视角。其次，对比学习擅长在预训练期间提取高层语义概念特征，避开了与图像重建相关的高频干扰和额外成本。重要的是，OCL 在不依赖手工设计的数据增强或额外辅助模块的情况下，高效地学习高度语义化的概念表征。实证上，OCL 展示了与 Vision Transformers 的高可扩展性，ViT-L/16 仅使用 4 块 A100 GPU 在 133 小时内完成预训练，在下游微调任务中达到 85.8\% 的准确率。代码可在 https://anonymous.4open.science/r/OLRS/ 获取。
引用
@article{arxiv.2411.09858,
title = {One Leaf Reveals the Season: Occlusion-Based Contrastive Learning with Semantic-Aware Views for Efficient Visual Representation},
author = {Xiaoyu Yang and Lijian Xu and Hongsheng Li and Shaoting Zhang},
journal= {arXiv preprint arXiv:2411.09858},
year = {2025}
}
备注
16 pages