自监督表示学习：介绍、进展与挑战
机器学习
2022-05-18 v1 计算机视觉与模式识别
机器学习
摘要
自监督表示学习方法旨在提供强大的深度特征学习，而无需大型标注数据集，从而缓解了当今深度学习实际部署的主要障碍之一——标注瓶颈。这些方法近年来发展迅速，其有效性在各种数据模态（包括图像、视频、声音、文本和图）上已接近甚至有时超越了全监督预训练方案。本文介绍了这一充满活力的领域，包括关键概念、四大方法族及其相关的最新技术，以及自监督方法如何应用于多样化的数据模态。我们进一步讨论了包括工作流、表示可迁移性和计算成本在内的实际考量。最后，我们调查了该领域面临的主要开放性挑战，这些挑战为未来的工作提供了肥沃的土壤。
引用
@article{arxiv.2110.09327,
title = {Self-Supervised Representation Learning: Introduction, Advances and Challenges},
author = {Linus Ericsson and Henry Gouk and Chen Change Loy and Timothy M. Hospedales},
journal= {arXiv preprint arXiv:2110.09327},
year = {2022}
}