自监督学习综述：算法、应用与未来趋势
机器学习
2024-07-16 v4
摘要
深度监督学习算法通常需要大量标注数据才能达到满意性能。然而，收集和标注此类数据的过程可能昂贵且耗时。自监督学习（SSL）作为无监督学习的一个子集，旨在不依赖人工标注标签的情况下从非标注数据中学习判别性特征。SSL 近期备受关注，催生了大量相关算法。然而，阐明不同 SSL 变体间联系与演进的综合性研究仍属匮乏。本文综述了多样的 SSL 方法，涵盖算法层面、应用领域、三大关键趋势及开放研究问题。首先，我们详细介绍了多数 SSL 算法背后的动机，并比较其共性与差异。其次，我们探讨了 SSL 在图像处理、计算机视觉和自然语言处理等领域的代表性应用。最后，我们讨论了 SSL 研究中观察到的三大主要趋势，并强调尚存的开放问题。精选的有价值资源可在 https://github.com/guijiejie/SSL 获取。
引用
@article{arxiv.2301.05712,
title = {A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends},
author = {Jie Gui and Tuo Chen and Jing Zhang and Qiong Cao and Zhenan Sun and Hao Luo and Dacheng Tao},
journal= {arXiv preprint arXiv:2301.05712},
year = {2024}
}
备注
This paper is accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)