基于显著性的自适应掩码：重新审视 Token 动态以增强预训练
计算机视觉与模式识别
2024-04-15 v1
摘要
在本文中，我们引入了基于显著性的自适应掩码 (SBAM)，这是一种新颖且高性价比的方法，它通过优先考虑 token 显著性显著增强了掩码图像建模 (MIM) 方法的预训练性能。我们的方法对掩码比例的变化具有鲁棒性，有效缓解了现有方法中常见的性能不稳定问题。这降低了基于 MIM 的预训练对掩码比例的敏感性，进而允许我们为每个数据样本提出一种“量身定制”的掩码比例自适应策略，这是现有方法无法提供的。为了实现这一目标，我们提出了一种自适应掩码比例 (AMR) 策略，该策略基于 token 显著性为每张图像的独特内容动态调整掩码比例。我们表明，在 ImageNet-1K 数据集上，我们的方法在基于掩码的预训练中显著优于现有最先进的方法。
引用
@article{arxiv.2404.08327,
title = {Salience-Based Adaptive Masking: Revisiting Token Dynamics for Enhanced Pre-training},
author = {Hyesong Choi and Hyejin Park and Kwang Moo Yi and Sungmin Cha and Dongbo Min},
journal= {arXiv preprint arXiv:2404.08327},
year = {2024}
}