迁移学习还是自监督学习？两种预训练范式之争
计算机视觉与模式识别
2020-07-09 v1 机器学习
机器学习
摘要
预训练已成为计算机视觉与自然语言处理中的标准技术，通常可大幅改善性能。此前，最主导的预训练方法是迁移学习（TL），其利用带标注数据学习良好的表示网络。近来，一种新的预训练方法——自监督学习（SSL）——已在广泛应用上展现出有前景的结果。SSL 不需要标注标签，仅通过在输入数据上定义辅助任务、纯粹在输入数据上执行。当前报道的结果表明，在某些应用中 SSL 优于 TL，而在其他应用中则相反。目前尚未清晰理解数据与任务的何种性质导致一种方法优于另一种。在没有指导性准则的情况下，ML 研究者必须尝试两种方法以经验性地确定哪一种更优，而这通常耗时良多。本工作中，我们旨在解决该问题。我们针对 SSL 与 TL 在不同数据与任务性质下哪一种更优进行了全面比较研究，这些性质包括源任务与目标任务间的领域差异、预训练数据量、源数据中的类别不平衡，以及利用目标数据进行额外预训练等。我们从比较研究中提炼的见解可帮助 ML 研究者依据其应用的性质决定使用哪种方法。
引用
@article{arxiv.2007.04234,
title = {Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms},
author = {Xingyi Yang and Xuehai He and Yuxiao Liang and Yue Yang and Shanghang Zhang and Pengtao Xie},
journal= {arXiv preprint arXiv:2007.04234},
year = {2020}
}