用于无监督适应的自掩码网络
计算机视觉与模式识别
2024-09-13 v1 机器学习
摘要
随着万参数基础模型的出现，针对下游任务的高效微调变得越来越重要。然而，在计算机视觉领域，当获取高质量标记数据困难时，很难实现良好性能。本文提出一种方法，通过学习二进制掩码以自监督方式适配预训练的通用模型。这些自监督掩码网络（SMNs）在存储时效率高达 79 倍，并且在标签效率的下游任务上显著提升性能。我们在 8 个数据集和 3 个模型架构上验证了学习二进制掩码作为微调方法的有用性，并在 3 个标签效率场景中展示了 SMNs 的有效性。
引用
@article{arxiv.2409.07577,
title = {Self-Masking Networks for Unsupervised Adaptation},
author = {Alfonso Taboada Warmerdam and Mathilde Caron and Yuki M. Asano},
journal= {arXiv preprint arXiv:2409.07577},
year = {2024}
}
备注
Oral at GCPR'24, code at https://github.com/alvitawa/UnsupervisedMasking