DATA:领域感知与任务感知的自监督学习
计算机视觉与模式识别
2022-03-28 v2
摘要
近期,通过在无标签海量数据上通过自监督学习(SSL)训练模型并在众多下游任务上微调的范式已成为一种趋势。然而,由于高昂的训练成本以及对下游用途的无意识,大多数自监督学习方法缺乏对应下游场景多样性的能力,因为存在各种数据域、不同的视觉任务以及模型上的延迟约束。神经架构搜索(NAS)是攻克上述问题的一个公认通用手段,但将NAS应用于SSL似乎不可能,因为没有提供用于判断模型选择的标签或度量。本文中,我们提出DATA,一种专为SSL设计的简单而有效的NAS方法,提供领域感知(Domain-Aware)与任务感知(Task-Aware)的预训练。具体而言,我们(i)训练一个超网,其可被视为一组涵盖广泛模型规模、无任何标签的数百万网络,(ii)提出一种兼容SSL的灵活搜索机制,能够在无显式度量提供的情况下,为各种下游视觉任务和数据域找到不同计算代价的网络。以MoCo v2实例化,我们的方法在包括图像分类、目标检测和语义分割在内的下游任务上跨广泛计算代价取得了有前景的结果。DATA与大多数现有SSL方法正交,并赋予它们针对下游需求定制的能力。在其他SSL方法上的大量实验证明了所提方法的泛化性。代码发布于https://github.com/GAIA-vision/GAIA-ssl
引用
@article{arxiv.2203.09041,
title = {DATA: Domain-Aware and Task-Aware Self-supervised Learning},
author = {Qing Chang and Junran Peng and Lingxie Xie and Jiajun Sun and Haoran Yin and Qi Tian and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2203.09041},
year = {2022}
}
备注
CVPR 2022,8 pages,3 figures