用于像素级对比学习的信息引导像素增强
计算机视觉与模式识别
2022-11-15 v1
摘要
对比学习（CL）是一种自监督学习形式，已广泛用于各种任务。与被广泛研究的实例级对比学习不同，像素级对比学习主要有助于像素级任务，如医学 landmark 检测。实例级 CL 中实例的对应物在像素级 CL 中是一个像素及其邻域上下文。旨在构建更好的特征表示，已有大量文献设计实例级 CL 的实例增强策略；但针对像素级 CL 以像素粒度进行像素增强的类似工作很少。本文中，我们试图弥补这一差距。我们首先根据像素所含信息量将像素分为低、中、高信息三类。受“InfoMin”原则启发，我们随后针对每一类在增强强度和采样比例上设计单独的增强策略。大量实验验证，我们的信息引导像素增强策略成功编码了更具判别性的表示，并在无监督局部特征匹配中超越了其他竞争方法。此外，我们的预训练模型提升了一致性和全监督模型的性能。据我们所知，我们是首个提出以像素粒度增强无监督像素级对比学习的像素增强方法。
引用
@article{arxiv.2211.07118,
title = {Information-guided pixel augmentation for pixel-wise contrastive learning},
author = {Quan Quan and Qingsong Yao and Jun Li and S. kevin Zhou},
journal= {arXiv preprint arXiv:2211.07118},
year = {2022}
}