面向掩码图像建模的困难块挖掘

掩码图像建模（MIM）因其在学习可扩展视觉表征方面的潜力而备受关注。在典型方法中，模型通常侧重于预测掩码块的具体内容，其性能与预定义的掩码策略高度相关。直观上，该过程可视为训练一个学生（模型）去解决给定问题（预测掩码块）。然而，我们认为模型不应仅聚焦于解决给定问题，还应站在教师角度自行生成更具挑战性的问题。为此，我们提出困难块挖掘（HPM），一种全新的 MIM 预训练框架。我们观察到重建损失天然可作为预训练任务难度的度量。因此，我们引入一个辅助损失预测器，先预测逐块损失，再决定下一步掩码位置。其采用相对关系学习策略，以防止对精确重建损失值的过拟合。多种设置下的实验证明了 HPM 在构建掩码图像方面的有效性。此外，我们经验性地发现，仅引入损失预测目标即可获得强大的表征，验证了感知“何处难以重建”这一能力的效用。