视觉表征对比学习前置任务的简要介绍
计算机视觉与模式识别
2022-10-10 v1 信号处理
摘要
为了提高从照片或视频中提取视觉特征表征在实际应用中的性能，我们通常在训练深度神经网络时需要大规模人工标注的标签数据。然而，收集并标注人工标注的标签数据的成本是昂贵的。鉴于现实世界中存在大量无标签数据，可以引入自定义的伪标签作为监督以避免此问题。自监督学习，特别是对比学习，是无监督学习方法的一个子集，已在计算机视觉、自然语言处理及其他领域变得流行。对比学习的目的是将来自同一样本的数据增强样本嵌入得彼此相近，同时将非同一样本的样本推远。在以下章节中，我们将介绍不同学习之间的常规公式。在接下来的章节中，我们将讨论各种学习的常规公式。此外，我们提供一些近期发表且专注于视觉表征前置任务的对比学习策略。
引用
@article{arxiv.2210.03163,
title = {Brief Introduction to Contrastive Learning Pretext Tasks for Visual Representation},
author = {Zhenyuan Lu},
journal= {arXiv preprint arXiv:2210.03163},
year = {2022}
}