掩码遇上监督：一种强大的学习组合
计算机视觉与模式识别
2025-03-26 v3 机器学习
摘要
基于随机掩码输入的预训练已成为自监督训练中的一种新趋势。然而，监督学习在采用掩码增强时仍面临挑战，主要源于训练的不稳定性。本文提出一种引入掩码增强的新方法，称为掩码子分支（Masked Sub-branch，MaskSub）。MaskSub 由主分支和子分支组成，后者是前者的一个部分。训练时，主分支采用常规训练流程，而子分支则施加密集的掩码增强。MaskSub 通过类似于自蒸馏损失的松弛损失函数缓解不利影响，从而应对该挑战。我们的分析表明，MaskSub 提升了性能，且训练损失比标准训练收敛更快，这说明我们的方法稳定了训练过程。我们进一步在多种训练场景与模型中验证 MaskSub，包括 DeiT-III 训练、MAE 微调、CLIP 微调、BERT 训练以及分层架构（ResNet 和 Swin Transformer）。结果表明，MaskSub 在所有情况下均持续取得显著的性能提升。MaskSub 为在各种训练流程下引入额外正则化提供了一种实用且有效的解决方案。代码见 https://github.com/naver-ai/augsub
引用
@article{arxiv.2306.11339,
title = {Masking meets Supervision: A Strong Learning Alliance},
author = {Byeongho Heo and Taekyung Kim and Sangdoo Yun and Dongyoon Han},
journal= {arXiv preprint arXiv:2306.11339},
year = {2025}
}
备注
Accepted to CVPR 2025