自引导掩码自编码器
计算机视觉与模式识别
2025-07-29 v1
摘要
掩码自编码器（MAE）是一种用于表示学习的自监督方法，广泛应用于计算机视觉中的各种下游任务。尽管取得了成功，但 MAE 究竟学习什么以及如何学习仍未完全揭示。在本文中，通过深入分析，我们发现 MAE 从预训练的早期阶段就内在地学习了基于模式的块级聚类。基于这一理解，我们提出了自引导掩码自编码器，它通过利用其在块聚类中的进展来内部生成有信息的掩码，取代了原始 MAE 的朴素随机掩码。我们的方法在不依赖任何外部模型或补充信息的情况下显著提升了其学习过程，同时保持了 MAE 自监督特性的优势。在各种下游任务上的综合实验验证了所提出方法的有效性。
引用
@article{arxiv.2507.19773,
title = {Self-Guided Masked Autoencoder},
author = {Jeongwoo Shin and Inseo Lee and Junho Lee and Joonseok Lee},
journal= {arXiv preprint arXiv:2507.19773},
year = {2025}
}