PR-MIM：深入掩码图像建模中的部分重建
计算机视觉与模式识别
2024-11-26 v1
摘要
掩码图像建模已在学习表征方面取得巨大成功，但其计算成本极高。一种节省成本的策略是仅对部分被遮盖 token 进行解码并丢弃其余 token，我们称之为部分重建。然而，这也会降低表征质量。以往方法通过使用无法访问静态图像的时序冗余或额外成本和复杂性的注意力图来丢弃信息最少的 token 来缓解此问题。为克服此限制，我们提出了渐进式重建策略和最远采样策略，以极低的成本重新构造被丢弃的 token 而非完全放弃它们。该方法确保所有被遮盖的 token 都参与监督，从而维持充分的预训练，同时保持部分重建的成本节省优势。我们在各种现有框架中验证了所提方法的有效性。例如，在丢弃 50% 图像块时，即可实现 ViT-B/16 的无损性能，同时相较于标准 MAE 节省 28% 的 FLOPs 和 36% 的内存使用。我们的源代码将公开提供。
引用
@article{arxiv.2411.15746,
title = {PR-MIM: Delving Deeper into Partial Reconstruction in Masked Image Modeling},
author = {Zhong-Yu Li and Yunheng Li and Deng-Ping Fan and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2411.15746},
year = {2024}
}